一 引子
本节的主题是基于单线程来实现并发,即只用一个主线程(很明显可利用的cpu只有一个)情况下实现并发,为此我们需要先回顾下并发的本质:切换+保存状态。
cpu正在运行一个任务,会在两种情况下切走去执行其他的任务(切换由操作系统强制控制):
一种情况是该任务发生了阻塞;
另外一种情况是该任务计算的时间过长或有一个优先级更高的程序替代了它。
协程本质上就是一个线程,以前线程任务的切换是由操作系统控制的,遇到I/O自动切换,现在我们用协程的目的就是较少操作系统切换的开销(开关线程,创建寄存器、堆栈等,在他们之间进行切换等),在我们自己的程序里面来控制任务的切换。
ps:在介绍进程理论时,提及进程的三种执行状态,而线程才是执行单位,所以也可以将上图理解为线程的三种状态
需要注意的是:
一:其中第二种情况并不能提升效率,只是为了让cpu能够雨露均沾,实现看起来所有任务都被“同时”执行的效果,如果多个任务都是纯计算的,这种切换反而会降低效率。为此我们可以基于yield来验证。yield本身就是一种在单线程下可以保存任务运行状态的方法,我们来简单复习一下:
#1 yiled 可以保存状态,yield的状态保存与操作系统的保存线程状态很像,但是yield是代码级别控制的,更轻量级
#2 send 可以把一个函数的结果传给另外一个函数,以此实现单线程内程序之间的切换
通过yield实现任务切换+保存线程:
import time
def func1():
for i in range(11):
#yield
print('这是我第%s次打印啦' % i)
time.sleep(1)
def func2():
g = func1()
#next(g)
for k in range(10):
print('哈哈,我第%s次打印了' % k)
time.sleep(1)
#next(g)
#不写yield,下面两个任务是执行完func1里面所有的程序才会执行func2里面的程序,有了yield,我们实现了两个任务的切换+保存状态
func1()
func2()
单纯的切换反而会降低运行效率:
#基于yield并发执行,多任务之间来回切换,这就是个简单的协程的体现,但是他能够节省I/O时间吗?不能
import time
def consumer():
'''任务1:接收数据,处理数据'''
while True:
x=yield
# time.sleep(1) #发现什么?只是进行了切换,但是并没有节省I/O时间
print('处理了数据:',x)
def producer():
'''任务2:生产数据'''
g=consumer()
next(g) #找到了consumer函数的yield位置
for i in range(3):
# for i in range(10000000):
g.send(i) #给yield传值,然后再循环给下一个yield传值,并且多了切换的程序,比直接串行执行还多了一些步骤,导致执行效率反而更低了。
print('发送了数据:',i)
start=time.time()
#基于yield保存状态,实现两个任务直接来回切换,即并发的效果
#PS:如果每个任务中都加上打印,那么明显地看到两个任务的打印是你一次我一次,即并发执行的.
producer() #我在当前线程中只执行了这个函数,但是通过这个函数里面的send切换了另外一个任务
stop=time.time()
# 串行执行的方式
# res=producer()
# consumer(res)
# stop=time.time()
print(stop-start)
二:第一种情况的切换。在任务一遇到io情况下,切到任务二去执行,这样就可以利用任务一阻塞的时间完成任务二的计算,效率的提升就在于此。
yield不能检测IO,实现遇到IO自动切换:
import time
def func1():
while True:
print('func1')
yield
def func2():
g = func1()
for i in range(10000000):
i + 1