Python异步编程核武器：asyncio.gather() 的终极使用手册

最新推荐文章于 2025-03-24 15:33:30 发布
最新推荐文章于 2025-03-24 15:33:30 发布
阅读量309 收藏
点赞数 4
分类专栏： python Python题库 文章标签： python 开发语言 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/windowshht/article/details/145369946
版权

Python异步编程核武器：asyncio.gather() 的终极使用手册

引言：从“顺序执行”到“并发风暴”

想象这样的场景：你的爬虫需要抓取100个网页，按传统方式顺序执行需要100秒，但使用asyncio.gather()只需1秒——这就是异步编程的魔力。作为Python异步编程中最强大的并发执行工具之一，asyncio.gather()能让你用简洁的代码实现惊人的性能提升。本文将深入解析它的工作机制，并通过5个实战场景教你彻底驾驭这把“并发利刃”。

一、asyncio.gather() 核心机制解析

1.1 基础语法与执行流程
import asyncio

async def task(n)
了解本专栏 订阅专栏 解锁全文 超级会员免费看
从头造轮子：python3 asyncio 之 run（2）
管彤python每日分享python技巧
01-03 737
前言 书接上文，本文造第二个轮子，也是asyncio包里面非常常用的一个函数 run 一、知识准备 ● 相对于 run_until_complete ，改动并不大，就是将入口函数重新封装了一下，基础知识主要还是 run_until_complete 的内容 ● asyncio.run是Python3.7之后新增的入口函数 二、环境准备 | 组件 | 版本 | | python | 3.7.7 | 三、run的实现 先来看下官方asyncio的使用方法： |># more main.pyimport
深入解析 Python 异步编程中的 `gather`、`as_completed` 和 `wait`
蜗牛沐雨
12-02 1296
异步编程是一种通过非阻塞方式处理并发任务的编程模型。在 Python 中，异步编程的核心是协程（coroutine协程允许你编写并发代码，但不需要像传统线程那样消耗额外的系统资源。asyncio库是 Python 提供的官方库，用于处理异步编程，它使用事件循环（event loop）来调度和管理协程的执行。在并发任务的处理中，如何有效地管理多个任务、等待任务的结果以及控制任务的执行顺序是非常重要的。
python异步框架asyncio中的gather怎样控制并发数？
03-07 591
随着互联网的快速发展，异步编程逐渐成为现代开发中不可或缺的一部分。尤其是在处理网络请求、文件读写和I/O密集型操作时，异步编程能够显著提高程序的效率和响应速度。在Python中，asyncio库提供了一种简洁而高效的方式来处理异步编程，其中的asyncio.gather函数使得多个异步任务可以并行执行。
Python异步编程中asyncio.gather的并发控制艺术
最新发布
这家伙很懒，什么都没有留下
03-24 742
asyncio.gather配合信号量机制，就像给异步程序装上了智能节流阀。通过合理设置并发参数，既能让程序高效运行，又能避免系统过载。实际开发中应根据任务类型、资源限制和SLA要求，选择最合适的并发控制策略。记住：优秀的并发控制不是追求最大速度，而是找到性能与稳定性的最佳平衡点。
Python协程：asyncio基本用法
merlon学习笔记
11-15 1895
在 Python 中，协程是一个可以暂停执行并在以后恢复执行的函数。你可以通过async def来定义一个协程函数，而await用于暂停协程的执行，直到某个异步操作完成。异步编程的核心优势是能够并发地执行 I/O 密集型任务，而不需要阻塞主线程。例如，进行大量的文件读写或网络请求时，异步编程能够帮助你高效地利用系统资源，提高程序的响应速度。done（已完成的任务）和pending（未完成的任务）。可以通过控制何时返回，支持以下选项：：等待所有任务完成。：等待第一个任务完成。
asyncio gather函数的用法
d3ac的博客
07-14 5281
asyncio.gather()是Python的异步库中的一个函数，用于并发执行多个协程。它封装了多个协程，使这些协程可以并发执行，等待所有协程执行结束后才返回结果，并将所有协程的返回值合并到一个列表中返回。比如，如果我们有两个函数func1和func2，我们可以使用asyncio.gather(func1(), func2())来并发执行它们。这个函数会一直运行，直到所有的协程都执行完成。每个协程可以使用await来暂停执行并将控制权交给其他协程，这使得协程可以在等待IO操作完成的同时，运行其他代码
asyncio.gather vs asyncio.wait
自信人生二百年，会当水击三千里
03-27 3271
异步协程
python-asyncio异步基础
刚入职的Android系统工程师小白
10-14 4277
python-asyncio异步基础学习
Python 异步: 同时运行多个协程（10）
冷冻工厂
02-19 2251
asyncio 的一个好处是我们可以同时运行许多协程。这些协同程序可以在一个组中创建并存储，然后同时一起执行。这可以使用 asyncio.gather() 函数来实现。 让我们仔细看看。 1. 什么是 Asyncio gather() asyncio.gather() 模块函数允许调用者将多个可等待对象组合在一起。分组后，可等待对象可以并发执行、等待和取消。 它是一个有用的实用函数，可用于分组和执行多个协程或多个任务。 ...# run a collection of
Python中的异步
Insane_Loafer的博客
08-28 930
目录 什么是异步与异步的好处 异步与多线程多进程 async , await，asyncio模块的使用 gevent 异步模块的使用 什么是异步与异步的好处 异步与多线程多进程 轻量级的线程——协程 可以获取异步函数的返回值 主进程需要异步才行 更适合文件读写使用 async与await关键字 async定义异步 await执行异步 例子 async def test() : return 'a' async def handle() : result = await test() 主程
Python并发编程之初识异步IO框架：asyncio 上篇（九）
august5291的博客
10-29 719
今天的内容其实还挺多的，我准备了三天，到今天才整理完毕。希望大家看完，有所收获的，能给小明一个赞。这就是对小明最大的鼓励了。 为了更好地衔接这一节，我们先来回顾一下上一节的内容。 上一节，我们首先介绍了，如何创建一个协程对象. 主要有两种方法 通过async关键字， 通过@asyncio.coroutine装饰函数。 然后有了协程对象，就需要一个事件循环容器来运行我们的协程。其主要的步骤有如下几点： - 将协程对象转为task任务对象 - 定义一个事件循环对象容器用来存放task - 将task任务.
深入理解asyncio(一)
goldm68的博客
02-24 677
在这里记录一下我对asyncio的一些理解。 我们一共看到2种错误的，6种正确的写法。你学到了么？
python并发运行协程 asyncio.gather 和 asyncio.wait
热门推荐
weixin_44818729的博客
07-02 1万+
同步有序,异步无序 技巧: 几乎所有的异步框架都将异步编程模型简化：一次只允许处理一个事件。故而有关异步的讨论几乎都集中在了单线程内。 如果某事件处理程序需要长时间执行，所有其他部分都会被阻塞。 所以，一旦采取异步编程，每个异步调用必须“足够小”，不能耗时太久。如何拆分异步任务成了难题。 0.协程理解: 一份详细的asyncio入门教程 [进阶]-Python3 异步编程详解（史上最全篇） F...
Python3.7 高级编程之 async/await asyncio 通过任务gather并发运行协程
haeasringnar的博客
09-01 5007
import asyncio import time # 并发执行协程 # 模拟的耗时任务 交给协程来处理 async def my_task(name, number): await asyncio.sleep(number) print('%s 已经完成任务...' % name) async def main(): print(f"started at {tim...
asyncio.gather和asyncio.wait的区别
Code is your weapon
05-25 1334
asyncio.gather和asyncio.wait的区别 环境: python3.7.1 参考: https://stackoverflow.com/questions/42231161/asyncio-gather-vs-asyncio-wait wait执行顺序是随机的，gather执行顺序是有序的 import asyncio import time async def add(x=1, y=2): print(f'Add {x} + {y}') await async
asyncio gather和wait并发方式
迷心兔的博客
10-08 9695
# coding=utf-8 import asyncio import time async def step1 (n, start): try: await asyncio.sleep(n) print("第一阶段完成") print("此时用时", time.time() - start) return n ...
知识笔记 - asyncio.gather 和asyncio.wait区别
m0_51159233的博客
01-11 3859
asyncio.gather 和asyncio.wait区别: wait的使用 在内部wait()使用一个set保存它创建的Task实例。因为set是无序的所以这也就是我们的任务不是顺序执行的原因。wait的返回值是一个元组，包括两个集合，分别表示已完成和未完成的任务。wait第二个参数为一个超时值 达到这个超时时间后，未完成的任务状态变为pending，当程序退出时还有任务没有完成此时就会看到如下的错误提示。 gather的使用 gather的作用和wait类似不同的是。 1.gather任务无法取消。
Asyncio wait与gather的学习笔记
rockfore123的博客
01-11 1265
Asyncio wait与gather的学习笔记asyncio.wait与gatherasyncio.waitasyncio.gather小结一下 asyncio.wait与gather 最近在写一个网络爬虫，用asyncio、aiohttp来实现，主要目的是利用网络爬虫，将公司的陈年办公系统数据，爬取到一个简单的数据库结构中，忽略陈年办公系统的平台架构，只要数据。因为陈年办公系统的平台已经无用了...
使用 asyncio.gather 与 asyncio.wait的区别
09-17
`asyncio.gather` 和 `asyncio.wait` 都是 Python 的 asyncio 库中的两个用于并发执行多个异步任务的方法，但它们之间有显著的不同。 1. **asyncio.gather()**: - 这个函数用于一次性调度并等待多个协程（coroutines）的完成。它接受一组协程作为参数，返回一个 Future 对象，当所有协程都完成时，Future 将解析为包含每个协程结果的一个元组。如果任何一个协程抛出了异常，那么整个 `gather` 也会立即停止，返回的 Future 将包含第一个失败协程的错误信息。 - 示例： ```python import asyncio async def task1(): await asyncio.sleep(1) return "Task1 result" async def task2(): await asyncio.sleep(2) return "Task2 result" tasks = [task1(), task2()] results = await asyncio.gather(*tasks) print(results) # {"Task1 result", "Task2 result"} ``` 2. **asyncio.wait()**: - `wait` 函数则更底层，它接收一个可迭代的协程集合和一个超时时间。它会返回两个列表：一个是已完成的任务，另一个是还在运行或挂起的任务。这意味着你需要手动处理这些返回值，可能需要使用 `asyncio.all_tasks()` 或者 `asyncio.shield()` 来确保所有任务都被正确地收集和处理。 - 示例： ```python import asyncio async def task1(): await asyncio.sleep(1) return "Task1 result" async def task2(): await asyncio.sleep(2) return "Task2 result" tasks = [task1(), task2()] done, pending = await asyncio.wait(tasks) completed_results = [t.result() for t in done] print(completed_results) ``` 注意，如果你不提供超时时间，`wait` 只会在所有任务完成后才会结束。 总结来说，`asyncio.gather()` 是一个简洁的方式，适合于不需要太多控制流程、只需要等待所有任务完成的情况；而 `asyncio.wait()` 提供了更多的灵活性，但需要手动管理任务的状态。如果你不确定具体需求，`gather` 更加推荐，因为它更易于理解和使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

清水白石008

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值