协程意义
在一个线程中如果遇到IO等待时间,线程不会傻傻等,利用空闲的时候在去干点其他事
案例
-
要求:去下载三张图片(网络IO操作)
-
普通方式下载如下(同步)
pip install requests -- 网络请求模块 import time import requests def download_image(url): print('开始下载:',url) #发送网络请求,下载图片 response = requests.get(url) print('下载完成') #保存图片 with open(f'{time.time()}.jpg','wb') as file_object: file_object.write(response.content) if __name__ == '__main__': url_list = [ 'https://ss0.bdstatic.com/70cFvHSh_Q1YnxGkpoWK1HF6hhy/it/u=2229640758,955716948&fm=26&gp=0.jpg', 'https://ss1.bdstatic.com/70cFuXSh_Q1YnxGkpoWK1HF6hhy/it/u=2637673594,2560483073&fm=26&gp=0.jpg', 'https://ss1.bdstatic.com/70cFuXSh_Q1YnxGkpoWK1HF6hhy/it/u=2393851800,1908382647&fm=26&gp=0.jpg' ] for item in url_list: download_image(item) 输出为: 开始下载: https://ss0.bdstatic.com/70cFvHSh_Q1YnxGkpoWK1HF6hhy/it/u=2229640758,955716948&fm=26&gp=0.jpg 下载完成 开始下载: https://ss1.bdstatic.com/70cFuXSh_Q1YnxGkpoWK1HF6hhy/it/u=2637673594,2560483073&fm=26&gp=0.jpg 下载完成 开始下载: https://ss1.bdstatic.com/70cFuXSh_Q1YnxGkpoWK1HF6hhy/it/u=2393851800,1908382647&fm=26&gp=0.jpg 下载完成 -
协程方式下载(异步)
import asyncio import aiohttp import time async def fetch(session,url): print('发送请求:',url) async with session.get(url,verify_ssl=False) as response: content = await response.content.read() file_name = time.time() with open(f'{file_name}.jpg','wb') as f: f.write(content) print('下载完成:',url) async def main(): async with aiohttp.ClientSession() as session: url_list = [ 'https://ss0.bdstatic.com/70cFvHSh_Q1YnxGkpoWK1HF6hhy/it/u=2229640758,955716948&fm=26&gp=0.jpg', 'https://ss1.bdstatic.com/70cFuXSh_Q1YnxGkpoWK1HF6hhy/it/u=2637673594,2560483073&fm=26&gp=0.jpg', 'https://ss1.bdstatic.com/70cFuXSh_Q1YnxGkpoWK1HF6hhy/it/u=2393851800,1908382647&fm=26&gp=0.jpg' ] tasks = [asyncio.create_task(fetch(session,url)) for url in url_list] if __name__ == '__main__': asyncio.run(main()) 输出为: 发送请求: https://ss0.bdstatic.com/70cFvHSh_Q1YnxGkpoWK1HF6hhy/it/u=2229640758,955716948&fm=26&gp=0.jpg 发送请求: https://ss1.bdstatic.com/70cFuXSh_Q1YnxGkpoWK1HF6hhy/it/u=2637673594,2560483073&fm=26&gp=0.jpg 发送请求: https://ss1.bdstatic.com/70cFuXSh_Q1YnxGkpoWK1HF6hhy/it/u=2393851800,1908382647&fm=26&gp=0.jpg 下载完成 下载完成 下载完成 #对比输出结果,由此可见,协程的性能是非常高效的,利用阻塞时间,能够充分的利用线程
异步编程**
事件循环
理解成为一个死循环,去检测并执行某些代码
#伪代码
任务列表 = [任务1,任务2,任务3,...]
while True:
可执行的任务列表,已完成的任务列表 = 去任务列表中检查所有的任务,将'可执行'和'已完成'的任务返回
for 就绪任务 in 已准备就绪的任务列表:
执行已就绪的任务
for 已完成的任务 in 已完成的任务列表:
在任务列表中移除 已完成的任务
如果 任务列表 中的任务都已完成,则终止循环
上面这个逻辑了解的话，就能理解下面这两句代码的逻辑。
import asyncio
loop = asyncio.get_event_loop() #去生成或获取一个事件循环
loop.run_until_complete(fun1()) #将任务放到'任务列表'
协程方式的快速上手(也就是基本操作)
- 协程函数,定义函数的时候 async def 函数名
- 协程对象，执行协程函数()得到的协程对象
async def func():
pass
result = func()
注意:执行协程函数创建协程对象,函数内部代码不会执行
如果想要运行协程函数内部代码,必须要将协程对象交给事件循环来处理
import asyncio
async def func(): #创建协程对象函数
print('快来搞我吧!')
#loop = asyncio.get_event_loop() #引用事件循环
#loop.run_until_complete(func(),) #在事件循环中添加任务列表
#也可以直接添加协程函数,或者添加函数的引用对象
asyncio.run(func()) #Python3.7版本后的语法(相当于执行了上面两句)
这样的写法已经算是掌握了协程的基本方法
协程中await的使用
await + 可等待对象(协程对象、Future、Task对象 ->IO等待)
示例1:
import asyncio
async def func():
print('来呀,来玩呀!')
response = await asyncio.sleep(2) #假设遇到IO等待
print('结束:',response) #这个await可以有返回值
asyncio.run(func())
示例2:
import asyncio
async def others():
print('开始!')
await asyncio.sleep(2)
print('结束!')
return '返回值'
async def func():
print('执行协程函数内部代码')
#遇到IO操作挂起当前协程(任务),等IO操作完成之后在继续往下执行,
#当前协程挂起时,事件循环可以去执行其他协程(任务)
response = await others()
print('IO请求结束,结果为:',response)
asyncio.run(func())
输出为: 执行协程函数内部代码
开始!
结束!
IO请求结束,结果为: 返回值
示例3:
import asyncio
async def others():
print('开始!')
await asyncio.sleep(2)
print('结束!')
return '返回值'
async def func():
print('执行协程函数内部代码')
#遇到IO操作挂起当前协程(任务),等IO操作完成之后在继续往下执行,
#当前协程挂起时,事件循环可以去执行其他协程(任务)
response1 = await others()
print('IO请求结束,结果为:',response1)
response2 = await others()
print('IO请求结束,结果为:', response2)
asyncio.run(func())
#因为遇到IO后这个函数需要拿到上个函数的返回值，才能继续执行,所以线程会等待
#但是不代表这个await没什么用,它等待的时候可以去做别的事情.
输出结果为: 执行协程函数内部代码
开始!
结束!
IO请求结束,结果为: 返回值
开始!
结束!
IO请求结束,结果为: 返回值
所以await就是等待对象的值得到结果之后在继续往下走
Task对象
白话:在事件循环中添加多个任务
Tasks用于并发调度协程,通过asyncio.create_task(协程对象)的方式创建Task对象,这样可以让协程加入事件循环中等待被调度执行,除了使用asyncio.create_task()函数外,还可以用底层级的loop.create_task()或ensure_future()函数.不建议手动实例化Task对象.
注意:asyncio.create_task()函数在Python3.7中被加入,在Python3.7之前,可以改用低层级的asyncio.ensure_future()函数
示例1:(这个代码不常用,只是做示例)
import asyncio
async def func():
print(1)
await asyncio.sleep(2)
print(2)
return '返回值'
async def main():
print('main开始')
#创建协程,将协程封装到一个Task对象中并立即添加到事件循环的任务列表,等待事件循环去执行(默认是就绪状态)
task1 = asyncio.create_task(func())
# 创建协程,将协程封装到一个Task对象中并立即添加到事件循环的任务列表,等待事件循环去执行(默认是就绪状态)
task2 = asyncio.create_task(func())
print('main结束')
ret1 = await task1 #当执行某协程遇到IO操作时,会自动化切换执行其他任务
ret2 = await task2 #此处的await是等待相应的协程全部执行完毕并获取结果
print(ret1,ret2)
asyncio.run(main())
输出为: main开始
main结束
1 遇到io阻塞自动切换执行
1 执行task2
2
2
返回值 返回值
示例2:(推荐写法)
import asyncio
async def func():
print(1)
await asyncio.sleep(2)
print(2)
return '返回值'
async def main():
print('main开始')
task_list = [
asyncio.create_task(func()), #可以使用这样方法创建并发
asyncio.create_task(func())
]
print('main结束')
done, pending = await asyncio.wait(task_list) #这里会得到一个返回值
print(done)
asyncio.run(main())
输出:
main开始
main结束
1
1
2
2
{<Task finished coro=<func() done, defined at D:/py_environmen
t/asyncio_study/asyncio_03.py:3> result='返回值'>}
示例3(不推荐写法)
import asyncio
async def func():
print(1)
await asyncio.sleep(2)
print(2)
return '返回值'
task_list = [
func(),
func()
]
done,pending = asyncio.run(asyncio.wait(task_list))
print(done,pending)
输出:
1
1
2
2
{<Task finished co...
asyncio的Future对象
Task继承Future,Task对象内部await结果的处理基于Future对象来的
示例1
import asyncio
async def main():
#获取当前事件循环
loop = asyncio.get_running_loop()
#创建一个任务(Future对象),这个任务什么都不干
fut = loop.create_future()
#等待任务最终结果(Future对象),没有结果则会一直等待下去
await fut
asyncio.run(main())
#这个程序,他会一直运行,直到有结果才能结束
示例2
import asyncio
async def set_after(fut):
await asyncio.sleep(2)
fut.set_result('666')
async def main():
#获取当前事件循环
loop = asyncio.get_running_loop()
#创建一个任务(Future对象),没绑定任何行为,则这个任务永远不知道什么时候结束
fut = loop.create_future()
#创建一个任务(Task对象),绑定了set_after函数,函数内部在2s之后,会给fut赋值
#即手动设置future任务的最终结果,那么fut就可以结束了
await loop.create_task(set_after(fut))
#等待Future对象获取,最终结果,否则一直等下去
data = await fut
print(data)
asyncio.run(main())
输出: 666
concurrent.futures.Future对象(题外话)
这个Future对象和asyncio中的Future没有半毛钱关系。
使用线程池、进程池实现异步操作时用到的对象(以后写代码可能会交叉使用)
异步迭代器
什么是迭代器
一个迭代器对象必须是定义了__iter__()方法和next()方法的对象。
什么是异步迭代器
实现了__aiter__()和__anext__()方法的对象,__anext__必须返回一个awaitable对象
.async_for会处理异步迭代器的__anext_()方法所返回的可等待对象,直到其引发一个
StopAsyncIteration异常.由PEP_492引入.
什么是异步可迭代对象?
可在async_for语句中被使用的对象.必须通过它的__aiter__()方法返回一个asynchoronous.iterator.由PEP_492引入.
案例
import asyncio
class Reader(object):
'''自定义异步迭代器(同时也是异步可迭代对象)'''
def __init__(self):
self.count = 0
async def readline(self):
self.count += 1
if self.count == 100:
return None
return self.count
def __aiter__(self):
return self
async def __anext__(self):
val = await self.readline()
if val == None:
raise StopAsyncIteration
return val
async def func():
obj = Reader()
async for item in obj:
print(item)
asyncio.run(func())
异步上下文管理器
此种对象通过定义__aenter__()和__aexit__()方法来对async_with语句中环境进行控制.由PEP_492引入
import asyncio
class AsyncContextManager:
def __init__(self):
self.conn = conn
async def do_something(self):
#异步操作数据库
return 666
async def __aenter__(self):
#异步链接数据库
self.conn = await asyncio.sleep(1)
return self
async def __aexit__(self, exc_type,val,tb):
#异步关闭数据库连接
await asyncio.sleep(1)
async def func(): #调用
async with AsyncContextManager as f:
result = await f.do_something()
print(result)
asyncio.run(func())
uvloop
是asyncio事件循环的替代方案 .性能方面 uvloop事件循环 > 默认asyncio事件循环
pip install uvloop -- 安装模块
import asyncio
import uvloop
asyncio.set_event_loop_policy(uvloop.EventloopPolicy()) -- 替换掉默认的事件循环
#编写asyncio的代码,与之前写代码一致
#内部的事件循环会自动变为uvloop
asyncio.run(...)
注意:一个asgi -> uvcorn
89
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
