关于Python中的三程三器

进程

• 进程是什么
  • 进程就是资源分配的最小单位(内存、cpu、网络、IO)
  • 一个运行起来的程序就是一个进程
    • 什么是程序(程序就是我们存储在硬盘上的代码)
    • 硬盘(256G)、内存条(8G)
    • 当我们双击图标、打开程序时，实际上就是通过I/O操作(读写)内存条里面
    • 内存条就是我们所指的资源
    • CPU分时
      • CPU比你的手速快很多，分别处理每个线程，但是由于太快然后你觉得每个线程都是独占CPU
      • cpu是计算，只有时间片到了，获取cpu，线程真正执行
      • 当你想使用网络、磁盘等资源的时候，需要cpu的调度
  • 进程具有独立的内存空间，所以没有办法相互通信
    • 进程是如何进行通信的呢
      • 进程queue(父子进程通信)
      • pipe(同一程序下两个进程通信)
      • manangers(同一程序下多个进程通信)
      • RabbitMQ、Redis（不同程序间通信）
  • 为什么需要进程池
    • 一次性开启指定数量的进程
    • 如果有是个进程，有一百个任务，一次可以处理多少个(一次性只能处理10个)

线程

• 为什么有了进程还需要线程
  • 因为进程不同同一时间只做一个事情
• 什么是线程
  • 线程是操作系统调度的最小单位
  • 线程是进程真真的执行者，是一些指令的集合(进程资源的拥有者)
  • 同一个进程下读多个线程共享内存空间，数据直接访问(数据共享)
  • 为保证数据安全，必须使用线程锁
• GIL全局解释器锁
  • 在Python全局解释器下，保证同一时间只有一个线程运行
  • 防止多个线程都修改数据
• 线程锁(互斥锁)
  • GIL锁只能保证同一时间只能有一个线程对某个资源操作，但当上一个线程还未执行完毕时可能就会释放GIL，其他线程就可以操作了
  • 线程锁本质把线程中的数据加了一把互斥锁
    • MySQL中共享锁&互斥锁
      • MySQL共享锁：共享锁，所有线程都能读，而不能写
      • MySQL排它锁：排它，任何线程读取这个数据的权利都没有
    • 加上线程锁之后所有其他线程，读都不能读这个数据
  • 有了GIL全局解释器锁为什么还需要线程锁?
    • 因为cpu是分时使用的
• 死锁定义
  • 两个以上的进程或线程在执行过程中，因争夺资源而造成的一种互相等待的现象，若无外力作用，他们都将无法推进下去

协程

• 什么是协程?
  • 协程就是微线程，纤程，本质是一个单线程
  • 协程能在单线程处理高并发
    • 线程遇到I/O操作会等待、阻塞。协程遇到I/O操作会自动切换(剩下的只有cpu操作)
    • 线程的状态保存在CPU的寄存器和栈里，而协程拥有自己的空间，所以无需上下文切换的开销，所以快
  • 为什么协程能遇到I/O自动切换?
    • 协程有一个gevent模块(封装了greenlet模块)，遇到I/O自动切换
• 协程有什么优缺点?
  • 协程缺点
    • 无法利用多核资源：协程的本质是一个单线程，他不能同时将单个CPU的多个核用上，协程需要和进程配合才能运行在多CPU上
    • 线程阻塞(Blocking)操作(如IO时)会阻塞掉整个程序
  • 协程优点：
    • 处理高并发(单线程下处理高并发)
    • 特别节省资源(500日活，用PHP写需要两百多台机器，但是golang只需要20多台机器)
      • 200多台机器一年
      • 20多台机器一年

装饰器

• 什么是装饰器?
  • 装饰器本质是函数，用来给其他函数添加新的功能
  • 特点是不修改调用方式，不修改源代码
• 装饰器的应用场景是什么？
  • 用户认证、判断用户是否登录
  • 计算函数运行时间(运用不多)
  • 插入日志的时候
  • Redis缓存
• 为什么要使用装饰器？
  • 可以结合我们实际的应用场景说需求
• 如何使用装饰器?
  • 装饰器求海曙运行时间

  import time
  def timer(func):   #timer(test1)  func=test1
      def deco(*args,**kwargs):
          start_time = time.time()
          func(*args,**kwargs)      #run test1
          stop_time = time.time()
          print("running time is %s"%(stop_time-start_time))
      return deco
  
  # @timer     # test1=timer(test1)
  def test1():
      time.sleep(3)
      print("in the test1")
  test1()
  

  • 三级装饰器

  #! /usr/bin/env python
  # -*- coding: utf-8 -*-
  import time
  def auth(auth_type):
      print("auth func:",auth_type)
      def outer_wrapper(func):
          def wrapper(*args, **kwargs):
              print("wrapper func args:", *args, **kwargs)
              print('运行前')
              func(*args, **kwargs)
              print('运行后')
          return wrapper
      return outer_wrapper
  
  @auth(auth_type="local") # home = wrapper()
  def home():
      print("welcome to home  page")
      return "from home"
  home()
  

生成器

• 什么是生成器?
  • 生成器就是一个特殊的迭代器
  • 一个有yield关键字等的函数就是一个生成器
    • 生成器是一个能记住上次返回时在函数体中位置的一个函数
    • 对生成器函数的第二次或第N次调用跳转至该函数中间，而上次调用的所有局部变量都保持不变
• 生成器有哪些应用场景？
  • 生成器是一个概念，我们平常也用的并不多，但是Python源码大量使用
  • 比如我们Tornado框架就是基于生成器+协程
  • 在我们代码中举例说明
  • 如我们要生成一百万个数据，如果用生成器非常节省空间，用列表浪费大量空间

  import time
  t1 = time.time()
  g = (i for i in range(100000000))
  t2 = time.time()
  lst = [i for i in range(100000000)]
  t3 = time.time()
  print('生成器时间：',t2 - t1)  # 生成器时间： 0.0
  print('列表时间：',t3 - t2)    # 列表时间： 5.821957349777222
  

• 为什么使用生成器
  • 节省空间
  • 高效
• 如何使用生成器呢？

  #!/usr/bin/python
  # -*- coding: utf-8 -*-
  def read_big_file_v(fname):
      block_size = 1024 * 8
      with open(fname,encoding="utf8") as fp:
          while True:
              chunk = fp.read(block_size)
              # 当文件没有更多内容时，read 调用将会返回空字符串 ''
              if not chunk:
                  break
              print(chunk)
  path = r'C:\aaa\luting\edc-backend\tttt.py'
  read_big_file_v(path)
  

迭代器

• 什么是迭代器？
  • 总是从集合内第一个元素访问，直到所有元素被访问过结束，当调用__next__而元素返回会引发一个Stoplteration异常
• 有两个方法：iter、next
  • iter：返回迭代器自身
  • next：返回下一个元素

以上便是本人对Python基础的三程三器的看法，各位看官老爷万福金安