终面倒计时10分钟：如何用`asyncio`解决高并发下的`callback`地狱？

最新推荐文章于 2025-04-30 14:30:01 发布

itAred

最新推荐文章于 2025-04-30 14:30:01 发布

阅读量505

点赞数 21

分类专栏： Python面试场景题文章标签： asyncio callback high-concurrency interview Python

本文链接：https://blog.csdn.net/itAred/article/details/147530677

版权

Python面试场景题专栏收录该内容

279 篇文章

订阅专栏

面试场景描述：
终面进行到最后一刻，面试官突然提出一个挑战性的问题，直接切入asyncio和异步编程的核心，考察候选人对asyncio的理解和实际应用能力。候选人需要快速整理思路，用简洁的语言解释问题，并展示对asyncio的掌握。

面试过程

面试官提问

面试官：小明，我们最后一个问题。假设你正在处理一个高并发场景，传统的回调函数（callback）会导致代码嵌套严重，形成所谓的“回调地狱”。你能用asyncio解决这个问题吗？请具体说明如何通过async和await机制，优雅地处理异步任务，避免代码变得难以维护。

候选人回答

小明：好的，这个问题很有代表性！传统的回调函数确实会导致代码嵌套，比如我们用requests库发起一个HTTP请求，可能需要层层嵌套回调函数来处理异步任务。这种写法不仅难以阅读，还容易出错。

借助asyncio，我们可以用同步的思维来写异步代码，避免“回调地狱”。具体来说，asyncio提供了协程和**await**关键字来简化异步任务的处理。我现在就用一个简单的例子来说明。

1. 回调地狱的典型场景

假设我们要发起一个HTTP请求，然后根据结果再发起另一个请求，传统回调函数的写法可能是这样的：

import requests

def fetch_data(url):
    def callback(response):
        print(f"Received data from {url}: {response.text}")
        # 再发起另一个异步请求
        fetch_another_data(url, callback2)

    def callback2(response):
        print(f"Received data from the second request: {response.text}")

    requests.get(url, callback=callback)

这种写法嵌套了多个回调函数，代码逻辑难以跟踪。

2. 使用`asyncio`的优雅解决方案

通过asyncio，我们可以用协程和**await**关键字来重写这段代码，让它看起来更像同步代码，同时保持异步性能。

首先，我们需要一个支持异步的HTTP客户端，比如aiohttp。我们可以这样写：

import aiohttp
import asyncio

async def fetch_data(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            data = await response.text()
            print(f"Received data from {url}: {data}")
            return data

async def fetch_another_data(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            data = await response.text()
            print(f"Received data from the second request: {data}")
            return data

async def main():
    url = "https://api.example.com/data"
    data = await fetch_data(url)
    # 然后用第一个请求的结果发起第二个请求
    await fetch_another_data(url)

# 运行异步程序
asyncio.run(main())

3. 关键点解析

async def：定义一个协程函数，表示这个函数可以被挂起和恢复。
await：允许我们在协程中暂停执行，等待异步操作完成，同时释放线程资源。
asyncio.run()：运行异步程序的入口，负责启动事件循环。

通过这种方式，代码看起来像同步代码，但实际运行时是异步的。我们避免了回调嵌套，代码逻辑清晰，维护性也更高。

4. 高并发的处理

如果我们要处理多个并发请求，asyncio同样游刃有余。我们可以用asyncio.gather()来并发执行多个协程：

async def fetch_data(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            data = await response.text()
            print(f"Received data from {url}: {data}")
            return data

async def main():
    urls = [
        "https://api.example.com/data1",
        "https://api.example.com/data2",
        "https://api.example.com/data3"
    ]
    results = await asyncio.gather(*[fetch_data(url) for url in urls])
    print(f"All results: {results}")

asyncio.run(main())

这里的asyncio.gather()会并发处理多个请求，返回结果时保证顺序一致。