对协程的理解
协程可以认为是比线程更小的执行单元,自带CPU上下文,这样只要在合适的机会下,可以把一个协程切换到另一个协程,只要这个协程中保存或恢复CPU上下文那么程序还是可以运行的。可以说协程是一种用户态的轻量化线程。
协程VS线程
协程拥有自己的寄存器上下文和栈,协程调度切换时将寄存器和栈保存到其他地方,在切换回来时恢复先前的寄存器上下文和栈。因此,协程能保留上一次调用时的状态,也就是进入上一次离开时所处的逻辑流的位置。
在并发编程中,协程与线程类似每个协程表示一个执行单元,有自己的本地数据和与其他协程共享的数据和资源。与线程相关的是抢占式多任务,与协程相关的是协作式多任务。
协程的优势及缺点
优势
线程和进程使用的都是同步机制,发生阻塞时性能会大幅度降低,因为在同步机制中每次阻塞、切换都需要陷入系统调度,先让CPU跑操作系统的调度程序,然后再由调度程序决定该跑哪一个线程或进程。多线程之间存在访问互斥的代码时还需加上锁,这个也是导致多线程编程难得问题之一。而在协程中,如果发生阻塞它就会切换去执行下一个任务,而线程中切换比较浪费时间和性能。通俗的理解:我请你去吃饭,不管你是一会去还是马上去我都会先去,而线程和进程的同步机制则是,你请我吃饭,我就要等你一起去。还有一个优势:协程重入任务时会接着上次未完成的继续执行,这是因为协程有自己的寄存器和栈储存上次的任务进度,方便切换。
总结
无需线程上下文切换的开销
无需原子操作(不会被线程调度机制打断的操作)锁定及同步的开销
方便切换控制流
高并发+高扩展性+低成本
缺点
- 无法利用多核资源:协程的本质是个单线程,它不能同时将单个CPU的多核用上,需要和进程配合才能运行在多核CPU。
- 进行阻塞操作会阻塞掉整个程序。
- 系统并不感知,所以不会帮你切换,需要程序员自己切换
IO密集型应用:多进程->多线程->事件驱动->协程
计算机密集型:多进程->多线程
如果说多进程对于多CPU,多线程对应 多核 CPU,那么事件驱动和协程则是在充分挖掘不断提高性能的 单核 CPU的潜力。
gevent实现协程
gevent是一个第三方库,greenlet实现协程:
基本原理:
当一个协程需要I/O操作时,自动切换到其他协程等到上一个I/O操作结束后,在适当的时候切换回来继续执行。
from gevent import monkey
import gevent
#打补丁,自动修改协程中需要的一些标准库
monkey.patch_socket()
import gevent
def f(n):
"""协程需要处理的任务"""
for i in range(n):
print(gevent.getcurrent().name,i)
#模拟I/O操作,通过gevent.sleep交出协程的控制权
gevent.sleep(1)
def automain():
gevents=[gevent.spawn(f,5) for i in range(3)]
gevent.joinall(gevents)
automain()