一篇很有营养的干货|看懂Python中的异步协程，这篇就够了

最新推荐文章于 2024-05-23 18:47:56 发布
最新推荐文章于 2024-05-23 18:47:56 发布
阅读量380 收藏 1
点赞数
文章标签： java python 多线程 编程语言 http
原文链接：https://space.bilibili.com/488689252
版权

作者：崔庆才

链接：

https://mp.weixin.qq.com/s/jCc1jIHxU_p6bUlwijkwyQ

01.

什么是协程

协程，英文叫做 Coroutine，又称微线程，纤程，协程是一种用户态的轻量级线程。

协程拥有自己的寄存器上下文和栈。协程调度切换时，将寄存器上下文和栈保存到其他地方，在切回来的时候，恢复先前保存的寄存器上下文和栈。

我们可以使用协程来实现异步操作，比如在网络爬虫场景下，我们发出一个请求之后，需要等待一定的时间才能得到响应，但其实在这个等待过程中，程序可以干许多其他的事情，等到响应得到之后才切换回来继续处理，这样可以充分利用 CPU 和其他资源，这就是异步协程的优势。

02.

定义协程

首先我们来定义一个协程，体验一下它和普通进程在实现上的不同之处，代码如下：

import asyncio

async def execute(x):
    print('Number:', x)

coroutine = execute(1)
print('Coroutine:', coroutine)
print('After calling execute')

loop = asyncio.get_event_loop()
loop.run_until_complete(coroutine)
print('After calling loop')

运行结果：

Coroutine: <coroutine object execute at 0x1034cf830>
After calling execute
Number: 1
After calling loop

1).先import Python里面大名鼎鼎的asyncio这个异步包，然后才可以使用 async 和 await。我们接着 async 定义了一个 execute() 方法，方法接收一个数字参数，方法执行之后会打印这个数字。

2).随后我们直接调用了这个方法，然而这个方法并没有执行，而是返回了一个 coroutine 协程对象。

3).随后我们使用 get_event_loop() 方法创建了一个事件循环 loop，并调用了 loop 对象的 run_until_complete() 方法将协程注册到事件循环 loop 中，然后启动。最后我们才看到了 execute() 方法打印了输出结果。

4).可见，async 定义的方法就会变成一个无法直接执行的 coroutine 对象，必须将其注册到事件循环中才可以执行。

5).上文我们还提到了 task，它是对 coroutine 对象的进一步封装，它里面相比 coroutine 对象多了运行状态，比如 running、finished 等，我们可以用这些状态来获取协程对象的执行情况。

在上面的例子中，当我们将 coroutine 对象传递给 run_until_complete() 方法的时候，实际上它进行了一个操作就是将 coroutine 封装成了 task 对象，我们也可以显式地进行声明，如下所示：

import asyncio

async def execute(x):
    print('Number:', x)
    return x

coroutine = execute(1)
print('Coroutine:', coroutine)
print('After calling execute')

loop = asyncio.get_event_loop()
task = loop.create_task(coroutine)
print('Task:', task)
loop.run_until_complete(task)
print('Task:', task)
print('After calling loop')

运行结果：

Coroutine: <coroutine object execute at 0x10e0f7830>
After calling execute
Task: <Task pending coro=<execute() running at demo.py:4>>
Number: 1
Task: <Task finished coro=<execute() done, defined at demo.py:4> result=1>
After calling loop

  • 这里我们定义了 loop 对象之后，接着调用了它的 create_task() 方法将 coroutine 对象转化为了 task 对象

  • 随后我们打印输出一下，发现它是 pending 状态。接着我们将 task 对象添加到事件循环中得到执行，

  • 随后我们再打印输出一下 task 对象，发现它的状态就变成了 finished

  • 同时还可以看到其 result 变成了 1，也就是我们定义的 execute() 方法的返回结果。

另外定义 task 对象还有一种方式，就是直接通过 asyncio 的 ensure_future() 方法，返回结果也是 task 对象，这样的话我们就可以不借助于 loop 来定义，即使我们还没有声明 loop 也可以提前定义好 task 对象，写法如下：

import asyncio

async def execute(x):
    print('Number:', x)
    return x

coroutine = execute(1)
print('Coroutine:', coroutine)
print('After calling execute')

task = asyncio.ensure_future(coroutine)
print('Task:', task)
loop = asyncio.get_event_loop()
loop.run_until_complete(task)
print('Task:', task)
print('After calling loop')

运行结果：

Coroutine: <coroutine object execute at 0x10aa33830>
After calling execute
Task: <Task pending coro=<execute() running at demo.py:4>>
Number: 1
Task: <Task finished coro=<execute() done, defined at demo.py:4> result=1>
After calling loop

发现其效果都是一样的。

03.

绑定回调

另外我们也可以为某个 task 绑定一个回调方法，来看下面的例子：

import asyncio
import requests

async def request():
    url = 'https://www.baidu.com'
    status = requests.get(url)
    return status

def callback(task):
    print('Status:', task.result())

coroutine = request()
task = asyncio.ensure_future(coroutine)
task.add_done_callback(callback)
print('Task:', task)

loop = asyncio.get_event_loop()
loop.run_until_complete(task)
print('Task:', task)

  • 在这里我们定义了一个 request() 方法，请求了百度，返回状态码，但是这个方法里面我们没有任何 print() 语句。

  • 随后我们定义了一个 callback() 方法，这个方法接收一个参数，是 task 对象，然后调用 print() 方法打印了 task 对象的结果。

  • 这样我们就定义好了一个 coroutine 对象和一个回调方法，我们现在希望的效果是，当 coroutine 对象执行完毕之后，就去执行声明的 callback() 方法。

那么它们二者怎样关联起来呢？很简单，只需要调用 add_done_callback() 方法即可，我们将 callback() 方法传递给了封装好的 task 对象，这样当 task 执行完毕之后就可以调用 callback() 方法了。

同时 task 对象还会作为参数传递给 callback() 方法，调用 task 对象的 result() 方法就可以获取返回结果了。

运行结果：

Task: <Task pending coro=<request() running at demo.py:5> cb=[callback() at demo.py:11]>
Status: <Response [200]>
Task: <Task finished coro=<request() done, defined at demo.py:5> result=<Response [200]>>

实际上不用回调方法，直接在 task 运行完毕之后也可以直接调用 result() 方法获取结果，如下所示：

import asyncio
import requests

async def request():
    url = 'https://www.baidu.com'
    status = requests.get(url)
    return status

coroutine = request()
task = asyncio.ensure_future(coroutine)
print('Task:', task)

loop = asyncio.get_event_loop()
loop.run_until_complete(task)
print('Task:', task)
print('Task Result:', task.result())

运行结果是一样的：

Task: <Task pending coro=<request() running at demo.py:4>>
Task: <Task finished coro=<request() done, defined at demo.py:4> result=<Response [200]>>
Task Result: <Response [200]>


04.

多任务协程

上面的例子我们只执行了一次请求，如果我们想执行多次请求应该怎么办呢？我们可以定义一个 task 列表，然后使用 asyncio 的 wait() 方法即可执行，看下面的例子：

import asyncio
import requests

async def request():
    url = 'https://www.baidu.com'
    status = requests.get(url)
    return status

tasks = [asyncio.ensure_future(request()) for _ in range(5)]
print('Tasks:', tasks)

loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

for task in tasks:
    print('Task Result:', task.result())

这里我们使用一个 for 循环创建了五个 task，组成了一个列表，然后把这个列表首先传递给了 asyncio 的 wait() 方法，然后再将其注册到时间循环中，就可以发起五个任务了。最后我们再将任务的运行结果输出出来，运行结果如下：

Tasks: [<Task pending coro=<request() running at demo.py:5>>, <Task pending coro=<request() running at demo.py:5>>, <Task pending coro=<request() running at demo.py:5>>, <Task pending coro=<request() running at demo.py:5>>, <Task pending coro=<request() running at demo.py:5>>]
Task Result: <Response [200]>
Task Result: <Response [200]>
Task Result: <Response [200]>
Task Result: <Response [200]>
Task Result: <Response [200]>

可以看到五个任务被顺次执行了，并得到了运行结果。

05.

一个实战爬虫例子，协程实现

前面说了这么一通，又是 async，又是 coroutine，又是 task，又是 callback，但似乎并没有看出协程的优势啊？反而写法上更加奇怪和麻烦了！

为了表现出协程的优势，最好的方法就是模拟一个需要等待一定时间才可以获取返回结果的网页，最好的方式是自己在本地模拟一个慢速服务器，这里我们选用 Flask,然后编写服务器代码如下：

from flask import Flask
import time

app = Flask(__name__)

@app.route('/')
def index():
    time.sleep(3)
    return 'Hello!'

if __name__ == '__main__':
    app.run(threaded=True)

这里我们定义了一个 Flask 服务，主入口是 index() 方法，方法里面先调用了 sleep() 方法休眠 3 秒，然后接着再返回结果，也就是说，每次请求这个接口至少要耗时 3 秒，这样我们就模拟了一个慢速的服务接口。

注意这里服务启动的时候，run() 方法加了一个参数 threaded，这表明 Flask 启动了多线程模式，不然默认是只有一个线程的。

如果不开启多线程模式，同一时刻遇到多个请求的时候，只能顺次处理，这样即使我们使用协程异步请求了这个服务，也只能一个一个排队等待，瓶颈就会出现在服务端。所以，多线程模式是有必要打开的。

启动之后，Flask 应该默认会在 127.0.0.1:5000 上运行，运行之后控制台输出结果如下：

 * Running on http://127.0.0.1:5000/ (Press CTRL+C to quit)

接下来我们再重新使用上面的方法请求一遍：

import asyncio
import requests
import time

start = time.time()

async def request():
    url = 'http://127.0.0.1:5000'
    print('Waiting for', url)
    response = requests.get(url)
    print('Get response from', url, 'Result:', response.text)

tasks = [asyncio.ensure_future(request()) for _ in range(5)]
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

end = time.time()
print('Cost time:', end - start)

在这里我们还是创建了五个 task，然后将 task 列表传给 wait() 方法并注册到时间循环中执行。

运行结果如下：

Waiting for http://127.0.0.1:5000
Get response from http://127.0.0.1:5000 Result: Hello!
Waiting for http://127.0.0.1:5000
Get response from http://127.0.0.1:5000 Result: Hello!
Waiting for http://127.0.0.1:5000
Get response from http://127.0.0.1:5000 Result: Hello!
Waiting for http://127.0.0.1:5000
Get response from http://127.0.0.1:5000 Result: Hello!
Waiting for http://127.0.0.1:5000
Get response from http://127.0.0.1:5000 Result: Hello!
Cost time: 15.049368143081665

可以发现和正常的请求并没有什么两样，依然还是顺次执行的，耗时 15 秒，平均一个请求耗时 3 秒，说好的异步处理呢？

其实，要实现异步处理，我们得先要有挂起的操作，当一个任务需要等待 IO 结果的时候，可以挂起当前任务，转而去执行其他任务，这样我们才能充分利用好资源，上面方法都是一本正经的串行走下来，连个挂起都没有，怎么可能实现异步？想太多了。

要实现异步，接下来我们再了解一下 await 的用法，使用 await 可以将耗时等待的操作挂起，让出控制权。当协程执行的时候遇到 await，时间循环就会将本协程挂起，转而去执行别的协程，直到其他的协程挂起或执行完毕。

所以，我们可能会将代码中的 request() 方法改成如下的样子：

async def request():
    url = 'http://127.0.0.1:5000'
    print('Waiting for', url)
    response = await requests.get(url)
    print('Get response from', url, 'Result:', response.text)

仅仅是在 requests 前面加了一个 await，然而执行以下代码，会得到如下报错：

Waiting for http://127.0.0.1:5000
Waiting for http://127.0.0.1:5000
Waiting for http://127.0.0.1:5000
Waiting for http://127.0.0.1:5000
Waiting for http://127.0.0.1:5000
Cost time: 15.048935890197754
Task exception was never retrieved
future: <Task finished coro=<request() done, defined at demo.py:7> exception=TypeError("object Response can't be used in 'await' expression",)>
Traceback (most recent call last):
  File "demo.py", line 10, in request
    status = await requests.get(url)
TypeError: object Response can't be used in 'await' expression

这次它遇到 await 方法确实挂起了，也等待了，但是最后却报了这么个错，这个错误的意思是 requests 返回的 Response 对象不能和 await 一起使用，为什么呢？因为根据官方文档说明，await 后面的对象必须是如下格式之一：

  • A native coroutine object returned from a native coroutine function，一个原生 coroutine 对象。

  • A generator-based coroutine object returned from a function decorated with types.coroutine()，一个由 types.coroutine() 修饰的生成器，这个生成器可以返回 coroutine 对象。

  • An object with an await__ method returning an iterator，一个包含 __await 方法的对象返回的一个迭代器。

reqeusts 返回的 Response 不符合上面任一条件，因此就会报上面的错误了。那么有的小伙伴就发现了，既然 await 后面可以跟一个 coroutine 对象，那么我用 async 把请求的方法改成 coroutine 对象不就可以了吗？所以就改写成如下的样子：

import asyncio
import requests
import time

start = time.time()

async def get(url):
    return requests.get(url)

async def request():
    url = 'http://127.0.0.1:5000'
    print('Waiting for', url)
    response = await get(url)
    print('Get response from', url, 'Result:', response.text)

tasks = [asyncio.ensure_future(request()) for _ in range(5)]
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

end = time.time()
print('Cost time:', end - start)

这里我们将请求页面的方法独立出来，并用 async 修饰，这样就得到了一个 coroutine 对象，我们运行一下看看：

Waiting for http://127.0.0.1:5000
Get response from http://127.0.0.1:5000 Result: Hello!
Waiting for http://127.0.0.1:5000
Get response from http://127.0.0.1:5000 Result: Hello!
Waiting for http://127.0.0.1:5000
Get response from http://127.0.0.1:5000 Result: Hello!
Waiting for http://127.0.0.1:5000
Get response from http://127.0.0.1:5000 Result: Hello!
Waiting for http://127.0.0.1:5000
Get response from http://127.0.0.1:5000 Result: Hello!
Cost time: 15.134317874908447

还是不行，它还不是异步执行，也就是说我们仅仅将涉及 IO 操作的代码封装到 async 修饰的方法里面是不可行的！我们必须要使用支持异步操作的请求方式才可以实现真正的异步，所以这里就需要 aiohttp 派上用场了。

06.

使用 aiohttp

aiohttp 是一个支持异步请求的库，利用它和 asyncio 配合我们可以非常方便地实现异步请求操作。我们将 aiohttp 用上来，将代码改成如下样子：

import asyncio
import aiohttp
import time

start = time.time()

async def get(url):
    session = aiohttp.ClientSession()
    response = await session.get(url)
    result = await response.text()
    session.close()
    return result

async def request():
    url = 'http://127.0.0.1:5000'
    print('Waiting for', url)
    result = await get(url)
    print('Get response from', url, 'Result:', result)

tasks = [asyncio.ensure_future(request()) for _ in range(5)]
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

end = time.time()
print('Cost time:', end - start)

在这里我们将请求库由 requests 改成了 aiohttp，通过 aiohttp 的 ClientSession 类的 get() 方法进行请求，结果如下：

Waiting for http://127.0.0.1:5000
Waiting for http://127.0.0.1:5000
Waiting for http://127.0.0.1:5000
Waiting for http://127.0.0.1:5000
Waiting for http://127.0.0.1:5000
Get response from http://127.0.0.1:5000 Result: Hello!
Get response from http://127.0.0.1:5000 Result: Hello!
Get response from http://127.0.0.1:5000 Result: Hello!
Get response from http://127.0.0.1:5000 Result: Hello!
Get response from http://127.0.0.1:5000 Result: Hello!
Cost time: 3.0199508666992188

成功了！我们发现这次请求的耗时由 15 秒变成了 3 秒，耗时直接变成了原来的 1/5。

近期十大热门：

每个程序员都是从菜鸟开始成长起来的，没有人一开始就是程序员高手。菜鸟爱编程，专注于分享趣味的编程技巧，不限于Java, Python ,Go, Javascript等语言，让菜鸟爱上编程，进阶成为高手。

菜鸟编程大本营

长按2秒，输入：【书单】

点这里，进菜鸟学PythonB站大本营
菜鸟学Python
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python异步协程（asyncio详解）
weixin_47888632的博客
11-29 440
个人Python异步协程的学习笔记，写的比较详细适合小白从入门到熟悉asyncio
异步IO：Python中的协程
WingC的博客
12-07 631
我们在实际的问题中会遇到一些堵塞线程的场景，比如UI程序进行耗时的计算阻塞主线程；进行IO操作，比如读写文档或者网络传输时会阻塞线程等等，之前我采用的是使用多进程+多线程的处理方式，但这种方式相比于协程来说都比较慢，特别是在Windows操作系统下启动一个线程是开销很大的，因此掌握Python中的协程对于处理一些高并发需求来说是非常重要的，看完了廖雪峰的官方网站–异步IO后我总结了一下我对于协程的理
Python异步协程
by_zhou
12-26 1929
Python asyncio 异步协程百万并发 协程（coroutine） 本质就是一个函数 事件循环——(event_loop) 协程函数，不是像普通函数那样直接调用运行的，必须添加到事件循环中，然后由事件循环去运行，单独运行协程函数是不会有结果的，看一个简单的例子： import time import asyncio async def say_after_time(delay,what): await asyncio.sleep(delay) print(what
python的协程异步
最新发布
hjc_042043的博客
05-23 1008
在我们的程序执行过程中，IO 是我们最大的瓶颈。在示例1中只是两个协程任务，如果写任务有N个，那么这样子就不方便了，所以我们可以将多个任务放进任务列表，就像最上面的那个事件循环中的伪代码一样，可以将上面的示例1进行改造。asyncio.wait 方法，则返回的是一个元祖，有两个返回值，done是已经完成的任务，pending 表示还未完成的任务，这两个都是集合类型。但如果是 I/O 密集型的，协程因为不能利用多核的能力，那么它就不能应付了，所以得使用多核的能力，比如是"多进程/多线程+协程"的方案来处理。
python 异步编程之协程
qq_43745578的博客
03-30 1116
python 协程原理和使用
Python 异步编程之——协程
qq_45055172的博客
11-26 650
协程的实现原理和使用例子
理解“互联网+”，看这一篇就够了！
02-26
“任何企业都可以找最强的竞争对手打，但有一个对手你是打不过的，那就是趋势。”以下是周鸿祎在北京“移动互联网时代的产品创新”大会上的演讲。干货满满，为你呈现。今天很多传统行业，包括很多人创业，都是希望把...
干货整理 | 如何解决电源常见应用问题--机壳开关电源篇
01-12
上一期我们向大家介绍了如何解决DC/DC电源常见的应用问题，这次我们将视线聚焦在机壳开关电源上，机壳电源应用领域十分广泛，不同的应用环境也会对产品有特殊的要求，所以在使用中也会出现一些问题，例如：启动输出...
干货：让你全方位学习成为一名交互设计师-上篇
01-27
交互设计是一种设计方法，旨在创建易于使用、直观且能满足用户需求的产品或系统。它涉及到人与产品之间的互动过程，确保用户能够有效地与产品进行交流，达成预期的目标。"交互"一词源于用户输入(input)与产品反馈...
干货：让你全方位学习成为一名交互设计师-下篇
02-25
接上篇《》交互设计日常需要注意积累案例，并从案例中学习总结，只有案例积累得越多，才能形成质变。本章只是简单示意一下交互可以从哪些案例入手。导航包括：左侧导航、顶部导航、面包屑导航、电梯导航、搜索等。...
Python 异步编程 协程(async/await)
weixin_42098295的博客
01-19 153
异步编程是以进程、线程、协程、函数/方法作为执行任务程序的基本单位，结合回调、事件循环、信号量等机制，以提高程序整体执行效率和并发能力的编程方式。本文主要介绍Python 中协程(async/await)的使用，以及相关的示例代码。 原文地址：Python 异步编程 协程(async/await) ...
Python 异步协程函数原理及实例详解
09-18
主要介绍了Python 异步协程函数原理及实例详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Python 异步IO--协程
铁马冰河入梦来
11-19 818
异步IO：例如爬虫中，访问一个链接后，会有需要等待服务器响应的时间，在等待过程中，异步编程可以进行其他操作，如请求其他连接，等到服务器返回响应时，得到通知，再进行处理。 协程是在单线程中运行的，所以不是并行运行的。一个协程可以放弃执行，把机会让给其它协程 在Python3.4中，协程都是通过使用yield from和asyncio模块中的@asyncio.coroutine来实现的。async...
python 异步协程的使用
Neon Light 的博客
07-03 284
消费流(kafka或者queue)的数据，使用python协程异步处理这些数据，提高python的并发性
Python异步IO（ asyncio） 协程
livein80的博客
08-26 271
Python— 异步IO（ asyncio） 协程 1. 定义一个协程 定义协程,使用async关键字，就像定义普通函数一样： import time import asyncio now = lambda : time.time() async def do_some_work(x): print('Waiting: ', x) start = now() coroutine = do_some_work(2) loop = asyncio.get_event_loop() loop.r
Python ——同步异步协程
sinat_28375239的博客
01-11 112
Python ——gevent协程 异步，多线程的区别 多线程是对cpu剩余劳动力的压榨，是一种技术，强调的是并发（想想web server 需要处理大量并发请求的场景）。 异步强调的是非阻塞，是一种编程模式（pattern），主要解决了UI响应被阻塞的问题，可借助线程技术或者硬件本身的计算能力解决。 协程 协程也被称为微线程，是一种比线程更轻量级的任务调度方式，一个线程内可以有多个协程。 协程是一种可以在子程序内部中断，转而执行其他子程序，之后再从中断点继续执行的机制。比如在 I/O 操作时就可以
python 异步协程最简单教学
weixin_45621200的博客
02-13 879
python异步编程
python中异步编程和协程
wugou2014的博客
02-21 457
python下异步和协程
python 协程 asyncio_Python之异步IO（ asyncio） 协程
weixin_32466193的博客
03-01 158
项目中用到了，看了还是知道了点皮毛，整理如下：python asyncio网络模型有很多中，为了实现高并发也有很多方案，多线程，多进程。无论多线程和多进程，IO的调度更多取决于系统，而协程的方式，调度来自用户，用户可以在函数中yield一个状态。使用协程可以实现高效的并发任务。Python的在3.4中引入了协程的概念，可是这个还是以生成器对象为基础，3.5则确定了协程的语法。下面将简单介绍asyn...
python协程实时输出_一篇很有营养的干货 | 看懂Python中的异步协程，这篇就够了！...
06-08
好的，您的问题是关于Python协程实时输出的。在Python中使用协程实现异步编程是很常见的，而实时输出则是在协程编程中比较常见的需求之一。以下是一些实现实时输出的方法： 1. 使用sys.stdout.flush()方法：在协程中使用sys.stdout.write()方法输出信息，并使用sys.stdout.flush()方法刷新输出缓冲区，以实现实时输出。 2. 使用asyncio的add_writer()方法：在协程中使用asyncio的add_writer()方法注册回调函数，以实现实时输出。 3. 使用asyncio的Queue对象：在协程中使用asyncio的Queue对象存储输出信息，并在协程外部的事件循环中使用Queue.get_nowait()方法获取输出信息，以实现实时输出。 以上是一些常见的实现实时输出的方法，您可以根据具体需求选择合适的方法。同时，在协程编程中，要特别注意协程之间的调度顺序，以及使用asyncio的协程调度器进行协程调度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值