#########多协程#########
## 对于协程的理解
所谓协程又称为微线程,我们在进程在创建时, 需要耗费时间和cpu资源;在创建多线程时,也需要消耗时间和资源。利用多协程的运行过程中,始终只要一个线程, 不存在创建线程和销毁线程需要的时间; 也没有线程切换的开销, 任务需要开启线程数越多, 协程的优势越明显;更不需要多线程的锁机制(GIL)。
## yield 实现多协程
import time
def producer(c):
c.__next__()
n = 0
while n <5:
n +=1
print("[生产者]生产数据: %s" %(n))
res = c.send(n)
print("[消费者的返回值为:%s" %(res))
def consumer():
r = "a"
while True:
# yield r ====> r如何获取? print(c.__next__())
# n = yield r ==> c.send("任务1") ===> n = "任务1"
n = yield r
if not n:
return
print("[消费者]运行%s....." %(n))
time.sleep(1)
r = "200 ok"
# 函数中有yield, 返回值为生成器;
c = consumer()
print(c.__next__())
print(c.send("任务1"))
## gevent实现多协程
# 由于切换是在IO操作时自动完成, 所以gevent需要修改python自带的一些标准库;
# gevent提供了patch_*来对于标准库作修改;
import gevent
import time
from gevent import monkey
monkey.patch_all()
def job(n):
for i in range(n):
print(gevent.getcurrent(), n)
time.sleep(0.5)
def main1():
# 创建三个协程, 并让该协程执行job任务
# 假设多协程执行的任务, 没有IO操作或者等待, 那么协程间是依次运行, 而不是交替运行;
# 假设多协程执行的任务, IO操作或者等待, 那么协程间是交替运行;
g1 = gevent.spawn(job, 1)
g2 = gevent.spawn(job, 2)
g3 = gevent.spawn(job, 3)
gevent.joinall([g1, g2, g3])
print("执行任务结束")
main1()
## 多协程的应用案例 (与多线程比较)
测试代码:
import time
from urllib.request import urlopen
from concurrent.futures import ThreadPoolExecutor
import gevent
from gevent import monkey
from 多进程与多线程._timeit import mytime
monkey.patch_all()
def load_url(url):
with urlopen(url) as conn:
data = conn.read()
print("%s网页字节数为%s" % (url, len(data)))
URLS = ['http://httpbin.org', 'http://example.com/'] * 1000
@mytime
def gevent_main():
gevents = [gevent.spawn(load_url, url) for url in URLS]
gevent.joinall(gevents)
@mytime
def thread_main():
with ThreadPoolExecutor(max_workers=100) as f:
f.map(load_url, URLS)
if __name__ == "__main__":
gevent_main()
thread_main()
#######################################