python asyncio 并发编程_asyncio并发编程

一. 事件循环

1.注：

实现搭配：事件循环+回调(驱动生成器【协程】)+epoll(IO多路复用)，asyncio是Python用于解决异步编程的一整套解决方案；

基于asynico：tornado，gevent，twisted(Scrapy，django channels)，tornado(实现了web服务器，可以直接部署，真正部署还是要加nginx)，django，flask(uwsgi，gunicorn+nginx部署)

1 importasyncio2 importtime3 async defget_html(url):4 print('start get url')5 #不能直接使用time.sleep,这是阻塞的函数，如果使用time在并发的情况有多少个就有多少个2秒

6 await asyncio.sleep(2)7 print('end get url')8 if __name__=='__main__':9 start_time=time.time()10 loop=asyncio.get_event_loop()11 task=[get_html('www.baidu.com') for i in range(10)]12 loop.run_until_complete(asyncio.wait(task))13 print(time.time()-start_time)

View Code

2.如何获取协程的返回值(和线程池类似):

1 importasyncio2 importtime3 from functools importpartial4 async defget_html(url):5 print('start get url')6 await asyncio.sleep(2)7 print('end get url')8 return "HAHA"

9 #需要接收task，如果要接收其他的参数就需要用到partial(偏函数),参数需要放到前面

10 defcallback(url,future):11 print(url+'success')12 print('send email')13 if __name__=='__main__':14 loop=asyncio.get_event_loop()15 task=loop.create_task(get_html('www.baidu.com'))16 #原理还是获取event_loop，然后调用create_task方法，一个线程只有一个loop

17 #get_future=asyncio.ensure_future(get_html('www.baidu.com'))也可以

18 #loop.run_until_complete(get_future)

19 #run_until_complete可以接收future类型，task类型(是future类型的一个子类)，也可以接收可迭代类型

20 task.add_done_callback(partial(callback,'www.baidu.com'))21 loop.run_until_complete(task)22 print(task.result())

View Code

3.wait和gather的区别:

3.1wait简单使用：

1 importasyncio2 importtime3 from functools importpartial4 async defget_html(url):5 print('start get url')6 await asyncio.sleep(2)7 print('end get url')8

9 if __name__=='__main__':10 loop=asyncio.get_event_loop()11 tasks=[get_html('www.baidu.com') for i in range(10)]12 #wait和线程的wait相似

13 loop.run_until_complete(asyncio.wait(tasks))

View Code

协程的wait和线程的wait相似，也有timeout，return_when(什么时候返回)等参数

3.2gather简单使用：

1 importasyncio2 importtime3 from functools importpartial4 async defget_html(url):5 print('start get url')6 await asyncio.sleep(2)7 print('end get url')8

9 if __name__=='__main__':10 loop=asyncio.get_event_loop()11 tasks=[get_html('www.baidu.com') for i in range(10)]12 #gather注意加*，这样就会变成参数

13 loop.run_until_complete(asyncio.gather(*tasks))

View Code

3