【Python】nest_asyncio 库：允许在现有 asyncio 事件循环中运行新的异步代码

最新推荐文章于 2025-05-19 10:04:29 发布
最新推荐文章于 2025-05-19 10:04:29 发布
阅读量643 收藏 17
点赞数 25
分类专栏： Python基础 文章标签： python nest_asyncio
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013172930/article/details/147860521
版权

nest_asyncio 是一个轻量级 Python 库，用于解决 Python asyncio 事件循环在嵌套场景下的限制。它允许在已经运行的事件循环中再次运行事件循环，特别适合在 Jupyter Notebook、交互式 shell 或需要嵌套异步操作的场景中。nest_asyncio 通过修补 asyncio 的行为，简化了异步代码的开发和调试。

以下是对 nest_asyncio 库的详细介绍，包括其功能、用法和实际应用，基于最新信息（截至 2025）。

1. nest_asyncio 库的作用

  • 嵌套事件循环：允许在现有 asyncio 事件循环中运行新的异步代码，解决 RuntimeError: This event loop is already running。
  • Jupyter Notebook 兼容：在 Notebook 环境中运行异步代码，无需手动管理事件循环。
  • 简化调试：支持交互式环境（如 IPython、REPL）中的异步操作。
  • 轻量补丁：通过修补 asyncio 的 get_event_loop 和任务调度，保持兼容性。
  • 跨平台：支持 Linux、MacOS 和 Windows。

2. 安装与环境要求

  • Python 版本：支持 Python 3.5+（推荐 3.8+）。
  • 依赖：无外部依赖，仅依赖标准库的 asyncio。
  • 安装命令：
    pip install nest-asyncio
  • 验证安装：
    import nest_asyncio
print(nest_asyncio.__version__)  # 示例输出: 1.6.0

3. 核心功能与用法

nest_asyncio 的核心功能是通过 apply() 函数修补 asyncio，允许嵌套事件循环。以下是主要功能和示例。

3.1 基本使用

修补 asyncio，允许嵌套运行异步代码。

import asyncio
import nest_asyncio

# 修补 asyncio
nest_asyncio.apply()

async def inner_task():
    await asyncio.sleep(1)
    print("Inner task completed")

async def outer_task():
    print("Outer task started")
    await inner_task()
    print("Outer task completed")

# 在已有事件循环中运行
loop = asyncio.get_event_loop()
loop.run_until_complete(outer_task())

输出示例：

Outer task started
Inner task completed
Outer task completed

说明：

  • nest_asyncio.apply() 修补 asyncio，允许在同一线程中嵌套运行事件循环。
  • 避免 RuntimeError: This event loop is already running。
3.2 Jupyter Notebook 场景

在 Jupyter Notebook 中运行异步代码。

import asyncio
import nest_asyncio

# 修补 asyncio
nest_asyncio.apply()

async def fetch_data():
    await asyncio.sleep(1)
    return {"data": "example"}

# 直接运行异步函数
result = await fetch_data()
print(result)

输出示例：

{'data': 'example'}

说明：

  • Jupyter Notebook 内置事件循环（基于 tornado），nest_asyncio 允许直接使用 await。
  • 无需显式调用 loop.run_until_complete()。
3.3 嵌套异步调用

处理嵌套的异步函数调用。

import asyncio
import nest_asyncio

nest_asyncio.apply()

async def task(name: str, delay: float):
    await asyncio.sleep(delay)
    print(f"Task {name} completed")

async def main():
    await task("A", 1)
    # 嵌套运行另一个异步任务
    loop = asyncio.get_event_loop()
    loop.run_until_complete(task("B", 1))

# 运行
asyncio.run(main())

输出示例：

Task A completed
Task B completed

说明：

  • nest_asyncio 允许在 main 中嵌套调用 loop.run_until_complete()。
  • 适用于需要动态运行异步任务的场景。
3.4 与第三方库结合

结合 httpx 或其他异步库。

import asyncio
import nest_asyncio
import httpx

nest_asyncio.apply()

async def fetch_url(url: str):
    async with httpx.AsyncClient() as client:
        response = await client.get(url)
        return response.json()

async def main():
    # 嵌套运行 HTTP 请求
    loop = asyncio.get_event_loop()
    data = loop.run_until_complete(fetch_url("https://api.example.com/data"))
    print(data)

# 运行
asyncio.run(main())

说明：

  • nest_asyncio 确保 httpx 的异步请求在嵌套场景下正常运行。
  • 适合快速原型开发或调试。

4. 性能与特点

  • 高效性：仅修补 asyncio 的调度逻辑，运行时开销极低。
  • 易用性：单行调用（nest_asyncio.apply()）即可启用嵌套支持。
  • 兼容性：与 asyncio、Jupyter、tornado 等广泛兼容。
  • 局限性：
    • 不推荐在生产环境中广泛使用，可能引发事件循环冲突。
    • 多线程或复杂异步场景可能导致不可预测行为。
    • 修补是全局的，无法针对特定循环禁用。
  • 与替代方案对比：
    • 手动管理事件循环：使用 loop.run_until_complete() 或 asyncio.create_task()，但代码复杂。
    • trio：替代异步框架，支持嵌套，但需重写代码。
    • uvloop：高性能事件循环，但不支持嵌套。

5. 实际应用场景

  • Jupyter Notebook：在 Notebook 中运行异步代码（如 HTTP 请求、数据库查询）。
  • 交互式开发：在 IPython 或 REPL 中测试异步函数。
  • 快速原型：简化嵌套异步任务的开发。
  • 调试工具：在已有事件循环中运行临时异步代码。
  • 教育：教授 asyncio 概念，降低初学者门槛。

示例（FastAPI 调试）：

import asyncio
import nest_asyncio
import httpx
from loguru import logger

# 配置日志
logger.add("app.log", rotation="1 MB", level="INFO")

# 修补 asyncio
nest_asyncio.apply()

async def test_api():
    async with httpx.AsyncClient() as client:
        response = await client.get("http://localhost:8000/health")
        logger.info(f"API response: {response.json()}")
        return response.json()

# 在已有循环中运行
loop = asyncio.get_event_loop()
result = loop.run_until_complete(test_api())
print(result)

说明：

  • 在 Jupyter 或脚本中测试 FastAPI 端点。
  • nest_asyncio 确保 httpx 请求在嵌套循环中运行。
  • loguru 记录响应。

6. 注意事项

  • 生产环境：
    • 避免在生产环境中使用 nest_asyncio，可能导致事件循环冲突或资源泄漏。
    • 优先使用 asyncio.create_task() 或队列管理嵌套任务：
      async def main():
    task = asyncio.create_task(inner_task())
    await task
  • 线程安全：
    • nest_asyncio 假设单线程环境，多线程可能引发问题。
    • 测试多线程场景时，监控事件循环状态。
  • 调试：
    • 启用 asyncio 日志查看调度细节：
      import logging
logging.basicConfig(level=logging.DEBUG)
  • 替代方案：
    • 手动事件循环：显式管理 loop.run_until_complete()。
    • anyio：跨 asyncio 和 trio 的异步框架，支持嵌套。
    • Jupyter 专用：使用 IPython 的 %run 或 ! 运行异步脚本。
  • 版本兼容性：
    • nest_asyncio 1.6.0 支持 Python 3.5+，与最新 asyncio 兼容。
    • 检查 Jupyter 版本（jupyter-core>=4.6）。

7. 综合示例

以下是一个综合示例，结合 nest_asyncio、httpx 和 loguru，在 Jupyter Notebook 中运行嵌套异步任务：

import asyncio
import nest_asyncio
import httpx
from loguru import logger

# 配置日志
logger.add("app.log", rotation="1 MB", level="INFO")

# 修补 asyncio
nest_asyncio.apply()

async def fetch_data(url: str) -> dict:
    try:
        async with httpx.AsyncClient() as client:
            response = await client.get(url, timeout=5.0)
            response.raise_for_status()
            data = response.json()
            logger.info(f"Fetched data from {url}")
            return data
    except httpx.HTTPStatusError as e:
        logger.error(f"HTTP error: {e}")
        raise
    except Exception as e:
        logger.error(f"Unexpected error: {e}")
        raise

async def process_urls(urls: list[str]) -> list[dict]:
    results = []
    for url in urls:
        # 嵌套运行异步任务
        loop = asyncio.get_event_loop()
        data = loop.run_until_complete(fetch_data(url))
        results.append(data)
    return results

# 主函数
async def main():
    urls = [
        "https://api.github.com/repos/python/cpython",
        "https://api.github.com/repos/jqlang/jq"
    ]
    try:
        results = await process_urls(urls)
        for url, data in zip(urls, results):
            print(f"{url}: {data['name']}")
    except Exception as e:
        print(f"Failed: {e}")

# 在 Jupyter 或脚本中运行
loop = asyncio.get_event_loop()
loop.run_until_complete(main())

输出示例：

https://api.github.com/repos/python/cpython: cpython
https://api.github.com/repos/jqlang/jq: jq

日志示例（app.log）：

2025-05-09T12:34:56.123 | INFO     | Fetched data from https://api.github.com/repos/python/cpython
2025-05-09T12:34:56.124 | INFO     | Fetched data from https://api.github.com/repos/jqlang/jq

说明：

  • nest_asyncio 允许在 process_urls 中嵌套运行 fetch_data。
  • httpx 执行异步 HTTP 请求。
  • loguru 记录操作日志。
  • 适合 Jupyter Notebook 或交互式调试。

8. 资源与文档

AI上推荐 之 DIEN模型(序列模型与推荐系统的花火碰撞)
Miracle8070
03-06 7996
1. 前言 随着信息技术和互联网的发展， 我们已经步入了一个信息过载的时代，这个时代，无论是信息消费者还是信息生产者都遇到了很大的挑战： 信息消费者：如何从大量的信息中找到自己感兴趣的信息？ 信息生产者：如何让自己生产的信息脱颖而出， 受到广大用户的关注？ 为了解决这个矛盾， 推荐系统应时而生， 并飞速前进，在用户和信息之间架起了一道桥梁，一方面帮助用户发现对自己有价值的信息， 一方面让信息能够展现在对它感兴趣的用户前面。 推荐系统近几年有了深度学习的助推发展之势迅猛， 从前深度学习的传统推荐模型(协
AI大模型：Agent智能体（规划、记忆、工具使用）
weixin_42376118的博客
08-27 223
在LLM语境下，Agent理解为在某种能自主理解、规划决策、执行复杂任务的智能体，LLM 充当着智能体的“大脑”。从软件工程的角度，智能体是一种基于大语言模型的，具备规划思考能力、记忆能力、使用工具函数的能力，能自主完成给定任务的计算机程序。 在基于 LLM 的智能体中，LLM 的充当着智能体的“大脑”的角色，同时还有 3...
探索AI智能体Agent的核心架构：记忆、工具与行动
m0_59164304的博客
07-15 2361
通过以上分析和案例，我们可以看出智能Agent在记忆与决策过程中，各个模块之间紧密配合，相互支持，形成了一个完整的智能系统。多模态感知为Agent提供了丰富的输入信息，记忆模块存储和管理这些信息，规划与决策模块制定合理的行动计划，工具模块提供必要的资源支持，最终通过行动模块完成任务。这一框架不仅为我们理解智能Agent的工作原理提供了有力支持，也为实际应用中的智能系统设计和开发提供了宝贵的参考。未来，随着技术的不断进步，智能Agent必将在更多领域中发挥重要作用，为我们的生活和工作带来更多便利和创新。
标星好多好多k，这2个开源项目绝了！
06-13 519
在这个信息爆炸的世代，不妨让我给大家精选并介绍一些优质的开源项目，让大家感受到开源世界的美好。
智能对话系统的短期记忆管理：LangGraph 实战指南
ai agent知识
05-17 929
本文介绍了如何使用 LangGraph 管理智能对话系统中的短期记忆，以实现流畅、连贯的对话。短期记忆通过跟踪对话历史记录来帮助智能体在多轮对话中保持上下文。LangGraph 提供了两种主要方式来优化短期记忆管理：总结和修剪消息历史记录。通过实际代码示例，本文展示了如何创建智能体并配置短期记忆工具，如 checkpointer 和 thread_id，以确保对话的连续性。此外，文章还详细讲解了如何使用 SummarizationNode 和 trim_messages 函数来总结和修剪消息历史记录，从而避
装上记忆，AI Agent 智能体牛了！
老皮的博客
01-02 1037
理想中的 AI Agent 智能体，应具备类似人类的思维与推理能力，能够处理复杂任务，并展现出创造性。在这个过程中，"记忆"对于 AI Agent 智能体来说是一个至关重要的组成部分。正如人类依赖记忆进行学习、成长以及与世界的互动，人工智能体同样需要强大的记忆功能来提升其性能。设想一下，如果一个 AI Agent 智能体在每次交互后都丢失了之前的对话和所学知识，那么它将无法深刻理解用户的意图，也无法高效地执行任务。为此，。
AI智能体的核心驱动力是大语言模型——规划、记忆和工具使用是三大关键组件...
人工智能学家
07-10 1631
“立志实现 AGI 的 OpenAI，是不是已经在暗中做起了大模型智能体？”来源：AIII研究院最近几个月，随着大语言模型的持续火爆，利用其构建 AI 智能体的研究陆续进入人们的视线。AI 智能体这个概念也流行开来，不断突破人们的想象力。先是斯坦福大学、谷歌的研究者，他们成功构建了一个「虚拟小镇」，小镇上的居民不再是人，而是 25 个 AI 智能体。它们的行为比人类角色的扮演更加真实，甚至举办了一...
面试精灵大升级！个性化AI面试助手助你收割金三银四Offer
interview_genie的博客
03-30 957
金三银四招聘季，别再为面试焦虑！面试精灵全新升级，支持个性化信息设置，让AI回复精准贴合你的简历和目标岗位，助您拿到心仪 Offer。赶紧注册体验吧！
【LazyLLM × MinerU】你的私人学术特工已上线！PDF拆解黑科技来了，让RAG更懂你的文章！
SenseCore的博客
04-02 744
以上就是基于LazyLLM融合MinerU实现PDF解析与RAG的应用与进阶，让PDF解析从 “机械拆分” 迈向 “智能重构”，更多高级玩法有待探索。（以上代码请参考项目 👉https://github.com/jisyST/LazyRAG-Mineru#）更多信息请移步“LazyLLM”gzh！
使用 ollama 部署本地模型，零基础入门到精通，非常详细收藏我这一篇就够了
m0_65555479的博客
08-15 2946
在本地启动并运行大型语言模型。运行Llama 2，Code Llama和其他模型。自定义并创建您自己的。
Baklib赋能企业知识资产AI化升级
weixin_51374429的博客
05-18 1626
Baklib作为AI驱动的一站式知识中台，深度融合大数据与智能技术，助力企业实现知识资产数字化升级。通过构建安全可控的多语言知识库体系，帮助百度、京东等500强企业激活沉睡数据，提升60%AI数据准备效率，实现内容智能管理、多场景输出及业务创新，打造可视化AI Ready知识引擎，加速数字化转型进程。
垂直智能体：企业AI落地的正确打开方式
chainso23的博客
05-18 1334
在一次重大投资决策中，这个智能体通过详细的财务模型和风险分析，帮助企业识别了原计划中被忽视的潜在风险，优化了投资策略，最终实现了比预期高的投资回报。上述企业管理与运营领域的成功案例清晰地表明，真正有价值的智能体不是简单地调用模型或拼凑功能，而是通过深度融合领域知识、专业流程和企业特定数据，形成清晰的内部逻辑，最终成为企业决策和运营的可靠助手。高效的垂直智能体需要具备强大的任务记忆能力，能够在多轮交互中保持上下文理解，记住用户的需求和偏好，避免重复询问或提供不一致的回答。
咖啡叶子病害检测数据集VOC+YOLO格式1468张4类别均为单叶子
FL1623863129的博客
05-17 1151
标注类别名称(注意yolo格式类别顺序不和这个对应，而以labels文件夹classes.txt为准):["Cercospora","Miner","Phoma","Rust"]数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。标注数量(xml文件个数)：1468。标注数量(txt文件个数)：1468。
联想推出擎天AI适配中心，智能体部署开启“交钥匙”新模式
weixin_43735236的博客
05-16 535
根据中研普华产业研究院的《2025-2030年中国AI大模型行业竞争格局分析与未来趋势预测报告》分析，2025年中国AI大模型市场规模预计将突破495亿元，大模型技术正在全行业快速演进，其中智能体成为企业AI落地的重要形式，特别是在政务、金融、医疗等对数据可控性要求极高的行业，本地化部署几乎已成共识。面对快速演进的市场环境，ISV常常陷入部署难、适配难、交付慢等难题——擎天AI适配中心的推出，正是为了解决这些关键痛点，帮助开发者在智能体的部署过程中，跳过复杂的搭建过程，专注于业务模型开发与客户交付。
ApiHug 咋变成国外AI工具了呢？
程序员超级伴侣-ApiHug
05-16 1530
摘要：ApiHug是一个专注于API设计和开发的平台，提供高度描述性、模块化和可视化的体验。它集成了API资产的分发、监控和管理功能，支持全语言在IDEA中的智能自动补全、linting和语法高亮等。ApiHug通过标准化的API设计元语言，旨在提高API开发效率和团队协作。其主要功能包括API设计、代码生成、模块共享、版本控制和统一IDE支持。目标受众为API开发者和团队，使用场景涵盖API设计、性能监控和智能提示。用户可通过官网注册、安装插件并开始使用ApiHug的各类功能。
[模型部署] 1. 模型导出
ayiya_Oese的博客
05-16 1617
本文详细介绍了如何将深度学习模型导出为不同部署格式，包括ONNX、TorchScript等，并对比了各种格式的优缺点及适用场景。
数字人技术的核心：AI与动作捕捉的双引擎驱动（210）
m0_74825409的博客
05-18 1000
AI 与动作捕捉技术的深度融合，正在重构数字人的 “生命体征”。随着 5G、AR/VR 技术的普及，数字人将从单一功能载体进化为具备自主意识的虚拟生命体，成为连接物理世界与数字空间的超级入口。未来的数字人不仅是技术的集合体，更是人类情感与智慧的数字化延伸。我们正站在一个新的时代起点上，见证着数字人技术带来的变革与创新。在这个虚实共生的新纪元中，数字人将与我们的生活、工作、娱乐深度融合，创造出无限可能的未来。
《Python星球日记》 第95天：分布式训练与推理
Code_流苏：在代码中寻诗意，在实践中觅真知
05-19 1199
《Python星球日记》 第95天：分布式训练与推理，今天，我们将探索分布式训练与推理技术，这是解决大规模AI模型训练和部署挑战的关键方法
ROS2使用yoloV12，V11，V10，V9，V8，V5等
最新发布
qq_35598561的博客
05-19 586
ROS2使用yoloV12，V11，V10，V9，V8，V5等
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

彬彬侠

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值