python并发编程之协程

本文介绍了Python中的协程并发编程,包括协程的概念、Greenlet和Gevent库的应用。通过Gevent,可以在单线程内实现任务间的自动切换,特别是在遇到IO阻塞时,提升了程序执行效率。此外,文章还提到了Gevent如何处理同步与异步问题,并给出了一个简单的Gevent应用例子:爬虫。
摘要由CSDN通过智能技术生成

单线程并发

基于单线程来实现并发,即只用一个主线程(很明显可利用的cpu只有一个)情况下实现并发,为此我们需要先回顾下并发的本质:切换+保存状态

    cpu正在运行一个任务,会在两种情况下切走去执行其他的任务(切换由操作系统强制控制),一种情况是该任务发生了阻塞,另外一种情况是该任务计算的时间过长或有一个优先级更高的程序替代了它


其中第二种情况并不能提升效率,只是为了让cpu能够雨露均沾,实现看起来所有任务都被“同时”执行的效果,如果多个任务都是纯计算的,这种切换反而会降低效率。为此我们可以基于yield来验证。yield本身就是一种在单线程下可以保存任务运行状态的方法,我们来简单复习一下:

#1 yiled可以保存状态,yield的状态保存与操作系统的保存线程状态很像,
但是yield是代码级别控制的,更轻量级
#2 send可以把一个函数的结果传给另外一个函数,以此实现单线程内程序之间的切换


单纯地切换反而会降低运行效率

#串行执行
import time
def consumer(res):
   '''任务1:接收数据,处理数据'''
   pass

def producer():
   '''任务2:生产数据'''
   res=[]
   for i in range(10000000):
       res.append(i)
   return res

start=time.time()
#串行执行
res=producer()
consumer(res) #写成consumer(producer())会降低执行效率
stop=time.time()
print(stop-start) #1.5536692142486572

#基于yield并发执行
import time
def consumer():
   '''任务1:接收数据,处理数据'''
   while True:
       x=yield

def producer():
   '''任务2:生产数据'''
   g=consumer()
   next(g)
   for i in range(10000000):
       g.send(i)

start=time.time()
#基于yield保存状态,实现两个任务直接来回切换,即并发的效果
#PS:如果每个任务中都加上打印,那么明显地看到两个任务的打印是你一次我一次,即并发执行的.
producer()
stop=time.time()
print(stop-start) #2.0272178649902344


第一种情况的切换。在任务一遇到io情况下,切到任务二去执行,这样就可以利用任务一阻塞的时间完成任务二的计算,效率的提升就在于此。

yield并不能实现遇到io切换

import time
def consumer():
   '''任务1:接收数据,处理数据'''<
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值