- 并行与并发:
并发:同一时间间隔内多个任务同时执行,宏观上并行,微观上并发
并行:同一时间点多个任务同时执行
- 实现多任务的方式:
多进程模式
多线程模式
协程
进程 > 线程 > 协程
- 创建进程
从multiprocessing模块中导入Process,利用Process创建进程
参数为需要该进程执行的任务,使用start方法让该进程执行process = Process(target=函数) process.start()
- Process中的参数:
target=函数,可以为进程设置执行任务
name=进程的名字,可以为进程设置名字
args=给函数传递的参数,可以设置目标任务中的参数
kwargs=…设置参数 - process的方法
process.start()
启动进程执行任务
process.run()
只是执行任务,但未启动进程
process.terminate()
终止进程 - 对于全局变量,每个进程之间互不影响,都有独自的全局变量空间
- 自定义进程
创建一个类继承Process类,并重写Process中的run方法from multiprocessing import Process class MyProcess(Process): #重写run方法 def run(self): 执行语句
- 进程池
从multiprocessing模块中导入Pool。
进程池与主进程共享,所以当主进程执行完时,进程池也会自动关闭,所以需要阻塞主进程的执行。
可以指定一个最大进程数,当池未满时,若有请求来,则会创建一个进程来执行该请求,若池满,则该请求会等待,知道池中有进程结束,才会创建新的进程来执行。- 非阻塞式进程:当一个进程执行完后会立刻返回,不会等待其他进程
pool = Pool(5)
创建一个大小为5的进程池
pool.apply_async()
创建非阻塞式进程,参数为要执行的函数和给函数传递的参数
pool.close()
添加任务结束
pool.join()
将进程池加入到主进程中 - 阻塞式进程:进程之间的执行是顺序执行,只有前一个进程执行完后,下一个进程才能开始执行
pool.apply()
创建阻塞式进程,参数为要执行的函数和给函数传递的参数
- 非阻塞式进程:当一个进程执行完后会立刻返回,不会等待其他进程
- 进程间通信
从multiprocessing模块中导入Queue。
q = Queue(5)
设置该缓冲区的最大容量
q.put()
可以向缓冲区中添加信息
q.get()
获取缓冲区中的信息
- Process中的参数:
- 创建线程
引入threading模块,操作与进程类似 - 多线程同步
引入threading模块,对于一些多个线程共享的函数,可以对其进行上锁,保证在同一时刻只有一个线程可以执行该函数
lock = threading.Lock()
创建一把锁
lock.acquire()
申请锁,若已经被锁上,则会阻塞,等待锁的释放
lock.release()
释放锁 - 协程:高效利用CPU,使用生成器yield实现或使用第三方包greenlet或gevent