`asyncio.gather()` 是什么

于 2025-05-19 18:40:52 发布
阅读量152 收藏
点赞数 4
分类专栏： 2024大模型以及算力 2021 AI python 教学 文章标签： java python android 人工智能 自然语言处理 机器学习 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38998213/article/details/148068609
版权
教学 同时被 3 个专栏收录
1374 篇文章 ¥199.90 ¥299.90
订阅专栏
2021 AI python
964 篇文章 ¥199.90 ¥299.90
订阅专栏
2024大模型以及算力
772 篇文章 ¥199.90 ¥299.90
订阅专栏

asyncio.gather() 是什么

在这段Python代码中，asyncio.gather() 是Python异步编程库 asyncio 中的一个重要函数，主要作用是并发运行多个异步任务，并等待所有任务完成。
在这里插入图片描述

1. 基本功能

asyncio.gather() 可以接收多个异步任务（coroutine 或 Task 对象）作为参数，然后将这些任务并发执行。它会阻塞当前协程（直到所有传入的异步任务都完成），然后返回一个包含所有任务结果的列表（如果任务没有返回值，则列表元素为 None ）。例如：

import asyncio

async
了解本专栏 订阅专栏 解锁全文
Python异步编程核武器：asyncio.gather() 的终极使用手册
windowshht的博客
01-29 286
任务分块原则超过1000个任务时，分批执行（每批100-500个）内存敏感场景使用生成器替代列表错误处理黄金法则# 必须设置return_exceptions=True性能调优参数# 调整事件循环策略（需在Python 3.7+） import uvloop监控指标任务完成速率（tasks/sec）异常率（errors/total）内存占用峰值就像异步编程的瑞士军刀——看似简单，却能通过组合不同技巧应对复杂场景。批量是核心：把零散任务打包处理有序是优势：保持结果顺序降低后续处理复杂度。
有关去中心化算路大模型的一些误区：低带宽互连导致训练速度太慢；小容量设备无法生成基础规模的模型；去中心化总是会花费更多；虫群永远不够大
热门推荐
ZJQ的博客
07-10 5万+
有关去中心化算路大模型的一些误区：低带宽互连导致训练速度太慢；小容量设备无法生成基础规模的模型；去中心化总是会花费更多；虫群永远不够大
`asyncio.wait` 和 `asyncio.gather` 的区别
engchina的专栏
11-30 579
`asyncio.wait` 和 `asyncio.gather` 的区别
Python异步编程中asyncio.gather的并发控制艺术
最新发布
这家伙很懒，什么都没有留下
03-24 709
asyncio.gather配合信号量机制，就像给异步程序装上了智能节流阀。通过合理设置并发参数，既能让程序高效运行，又能避免系统过载。实际开发中应根据任务类型、资源限制和SLA要求，选择最合适的并发控制策略。记住：优秀的并发控制不是追求最大速度，而是找到性能与稳定性的最佳平衡点。
asyncio.gather vs asyncio.wait
自信人生二百年，会当水击三千里
03-27 3205
异步协程
Python：asyncio.wait 和 asyncio.gather 总结
weixin_36273267的博客
05-29 5000
Futurefuture是一个数据结构，表示还未完成的工作结果。事件循环可以监视Future对象是否完成。从而允许应用的一部分等待另一部分完成一些工作。Future获取Futrue里的结果future表示还没有完成的工作结果。事件循环可以通过监视一个future对象的状态来指示它已经完成。future对象有几个状态：PendingRunningDoneCancelled。
asyncio.gather和asyncio.wait的区别
Code is your weapon
05-25 1312
asyncio.gather和asyncio.wait的区别 环境: python3.7.1 参考: https://stackoverflow.com/questions/42231161/asyncio-gather-vs-asyncio-wait wait执行顺序是随机的，gather执行顺序是有序的 import asyncio import time async def add(x=1, y=2): print(f'Add {x} + {y}') await async
FastApi使用asyncio.gather并发运行多个异步函数
全幼稚园最可爱
07-25 583
FastAPI并发运行多个异步函数。
python并发运行协程 asyncio.gather 和 asyncio.wait
weixin_44818729的博客
07-02 1万+
同步有序,异步无序 技巧: 几乎所有的异步框架都将异步编程模型简化：一次只允许处理一个事件。故而有关异步的讨论几乎都集中在了单线程内。 如果某事件处理程序需要长时间执行，所有其他部分都会被阻塞。 所以，一旦采取异步编程，每个异步调用必须“足够小”，不能耗时太久。如何拆分异步任务成了难题。 0.协程理解: 一份详细的asyncio入门教程 [进阶]-Python3 异步编程详解（史上最全篇） F...
Python异步编程：`asyncio.gather`与`asyncio.as_completed`的区别与使用
engchina的专栏
10-16 1296
Python异步编程：`asyncio.gather`与`asyncio.as_completed`的区别与使用
知识笔记 - asyncio.gather 和asyncio.wait区别
m0_51159233的博客
01-11 3851
asyncio.gather 和asyncio.wait区别: wait的使用 在内部wait()使用一个set保存它创建的Task实例。因为set是无序的所以这也就是我们的任务不是顺序执行的原因。wait的返回值是一个元组，包括两个集合，分别表示已完成和未完成的任务。wait第二个参数为一个超时值 达到这个超时时间后，未完成的任务状态变为pending，当程序退出时还有任务没有完成此时就会看到如下的错误提示。 gather的使用 gather的作用和wait类似不同的是。 1.gather任务无法取消。
(一)asyncio的基本使用框架，python高效处理数据，asyncio.gather(),asyncio. create_task(),asyncio.run(main())...
高颜值的杀生丸(此博客转载自我的博客园)
04-26 516
asyncio 是 Python 3.4 引入的标准库，是一个基于事件循环的异步 I/O 并发库。它提供了一种协作式的多任务处理方式，使得我们能够在一个线程中并发处理多个 I/O 操作。它通过将 I/O 操作转化为异步的非阻塞调用，从而实现了高效的并发处理。其原理如下： 定义协程(coroutine)：使用关键字 async def 定义一个协程函数，它是一种特殊的函数，可以暂停执行并在稍后...
神经网络和算力共享结合：基于深度学习的算力资源智能分配机制；一种支持跨云、跨边缘计算平台的协同训练框架；模型自适应优化策略
ZJQ的博客
07-07 4万+
神经网络和算力共享结合：基于深度学习的算力资源智能分配机制；一种支持跨云、跨边缘计算平台的协同训练框架；模型自适应优化策略
算力共享方案
ZJQ的博客
07-15 4万+
平台的整体方案不但包括集群系统网络、存储、安全、可视化设备、计算服务器等硬件算力资源池的构建而且包含算力调度系统、算力交互门户、算力运行基础环境和算力应用等软件系统构建，这是一个庞大而系统化的工程。在算力资源池规划中，根据需求可分为工业设计、AI研发所需的可视化资源池，科学计算资源池和AI训练推理资源池，这些资源池使用统一的存储空间，按照其业务特性进行个性化网络配置，为平台提供算力基础能力。
Tinygrad，llama3，Reward Model
ZJQ的博客
07-25 4万+
根据公开发布的信息，Llama 3是一款文本生成AI，与OpenAI的GPT和Anthropic的Claude模型类似，用户可以编写文本提示，然后Llama 3会生成相应的文本响应。在复杂的实际应用场景中，设计一个合适的奖励模型并非易事，因此研究如何构建有效的奖励模型成为了强化学习领域的关键技术与挑战。总的来说，Tinygrad是一个轻量级但功能强大的深度学习框架，它以其简洁的设计和易用性吸引了众多开发者的关注。Llama 3是一个“开放权重”模型，意味着模型本身是开源的，提供了一定程度的透明度。
Megatron-LM在训练过程中怎么保证参数传递并保证每块GPU都在工作
ZJQ的博客
07-24 4万+
Megatron-LM通过数据并行、张量并行和流水线并行等多种并行策略的综合运用，确保了训练过程中每块GPU都在工作，实现了高效的并行训练。这种分布式训练框架特别适用于训练超大规模的语言模型，如GPT-3等。
区块链技术和系统；ZKRollup ；区块链交易打包和审查
ZJQ的博客
07-19 4万+
区块链技术作为一种去中心化、不可篡改且高度安全的分布式账本技术，近年来在统等多个领域展现出了巨大的应用潜力。：熟悉区块链的基本概念，如等核心技术。能够解释区块链如何工作，以及它的去中心化、透明性和安全性的基本原理。：了解并实践过至少一种或多种主流区块链平台，如等。熟悉这些平台的特性、开发环境、交易模型、智能合约编写语言（如Solidity）等。：能够，理解其在区块链上自动执行合约条款的重要性。了解智能合约的安全隐患，如重入攻击、时间戳依赖等，并知道如何避免这些问题。
算力共享：环形结构的算力分配策略
ZJQ的博客
07-25 4万+
因此，在这个例子中，节点将首先根据它们的内存大小进行降序排序，如果内存大小相同，则根据节点ID进行降序排序（尽管在内存大小不同的情况下，节点ID的比较通常不会影响最终排序结果）。是基于前一个分区的结束位置更新的，并且每个分区的结束位置都是基于内存比例计算的，因此所有分区的总和可能不会恰好等于 1（即整个资源池的比例）。由于元组在Python中是按位置进行比较的，因此当用作排序关键字时，会首先比较元组的第一个元素（内存大小），如果两个元素的内存大小相同，则会比较第二个元素（节点ID）。参数指定了排序的方向。
算力共享中数据切片：按照神经网络层数；算力共享-策略
ZJQ的博客
07-24 2万+
目录dataclasses是什么dataclasses的主要特性和用法包括：示例代码算力共享中数据切片：按照神经网络层数算力共享-策略详细说明：使用场景：算力共享中，任务分片后，是串行执行还是并行执行1. 并行执行的优势2. 串行执行与并行执行的区别3. 算力共享中的任务分片与并行执行按照神经网络层数分片，怎么并行执行而不影响模型参数准确率，尤其在模型训练过程中1. 数据并行与模型并行结合数据并行模型并行2. 确保参数一致性3. 监控和调整4. 选择合适的优化算法5. 验证和测试6. 注意事项参数服务器或A
asyncio.gather
08-15
`asyncio.gather`是`asyncio`库中的一个重要功能，用于同步式地并行执行多个异步任务。它接收一个或多个协程（`coroutine`）作为参数，这些协程会被安排在同一事件循环中并发执行。当你调用`await asyncio.gather(*tasks)`时，所有传入的任务会在单次`await`语句中一起开始执行，直到它们全部完成或遇到第一个失败的任务。 例如，如果你有三个任务，你可以这样使用`gather`： ```python import asyncio async def task_1(): print('Task 1 started') await asyncio.sleep(1) print('Task 1 finished') async def task_2(): print('Task 2 started') await asyncio.sleep(2) print('Task 2 finished') async def task_3(): print('Task 3 started') await asyncio.sleep(0.5) print('Task 3 finished') # 同时启动这三个任务 await asyncio.gather(task_1(), task_2(), task_3()) ``` 这将会打印出类似这样的输出： ``` Task 3 started Task 1 started Task 2 started Task 3 finished Task 1 finished Task 2 finished ``` `asyncio.gather`的主要优点是可以简化代码，避免频繁地写`await`，但需要注意的是，如果其中一个任务失败，`gather`会立即中断其他任务并返回失败的任务结果，而不是继续执行后续任务。因此，通常会配合`try-except`块来处理可能出现的错误。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ZhangJiQun&MXP

等到80岁回首依旧年轻

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值