终面倒计时5分钟：如何用`asyncio`重构阻塞式`requests`请求的性能瓶颈？

itAred

于 2025-05-19 08:30:01 发布

阅读量466

点赞数 11

分类专栏： Python面试场景题文章标签： asyncio requests 高并发异步编程

本文链接：https://blog.csdn.net/itAred/article/details/148054652

版权

Python面试场景题专栏收录该内容

555 篇文章

订阅专栏

面试官问题：

如何用asyncio重构阻塞式requests请求的性能瓶颈？

候选人回答：

面试官：好的，你有5分钟时间，解释如何用asyncio重构阻塞式requests的性能瓶颈，并通过代码示例展示如何用aiohttp或httpx实现异步请求。

候选人：感谢这个问题！这是一个非常有趣且实用的场景。让我们一步步来分析。

1. 问题背景：阻塞式`requests`的性能瓶颈

在高并发场景中，requests是一个同步库，每次发出请求时都会阻塞主线程，直到请求完成。这意味着如果我们要并发发送多个请求，主线程会等待每一个请求的完成，导致性能低下。

例如，以下是一个简单的阻塞式请求示例：

import requests

urls = [
    "https://api.example.com/data1",
    "https://api.example.com/data2",
    "https://api.example.com/data3"
]

def fetch_data(url):
    response = requests.get(url)
    return response.json()

# 阻塞式循环发送请求
data = []
for url in urls:
    data.append(fetch_data(url))

在这个例子中，主线程会依次发送请求并等待每个请求的完成，效率非常低。

2. 解决方案：使用`asyncio`实现异步请求

asyncio 是 Python 的异步编程框架，它允许我们在不阻塞主线程的情况下并发执行任务。通过结合 aiohttp 或 httpx 这样的异步 HTTP 客户端库，我们可以轻松实现异步请求。

为什么要用`asyncio`？

非阻塞：asyncio 使用事件循环（event loop）来管理任务，避免阻塞主线程。
高并发：通过异步 I/O，我们可以同时处理多个网络请求，而不需要为每个请求创建新的线程。
资源高效：异步 I/O 比线程池更轻量，资源消耗更低。

为什么选择`aiohttp`或`httpx`？

aiohttp 是专门为 asyncio 设计的异步 HTTP 客户端库，支持异步请求和响应。
httpx 是一个现代 HTTP 库，支持同步和异步模式，接口简洁易用。

3. 代码示例：用`aiohttp`实现异步请求

以下是使用 aiohttp 的异步请求示例：

import aiohttp
import asyncio

async def fetch_data(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            return await response.json()

async def main():
    urls = [
        "https://api.example.com/data1",
        "https://api.example.com/data2",
        "https://api.example.com/data3"
    ]

    # 使用 asyncio.gather 并发执行多个请求
    tasks = [fetch_data(url) for url in urls]
    results = await asyncio.gather(*tasks)
    return results

# 启动事件循环并运行主函数
if __name__ == "__main__":
    asyncio.run(main())

代码解析：

aiohttp.ClientSession：
- ClientSession 是 aiohttp 的核心类，用于管理 HTTP 会话。它支持异步上下文管理（async with），确保资源正确释放。
- 每个 ClientSession 可以复用底层的连接池，提高效率。
async with session.get(url)：
- session.get(url) 发起异步 HTTP 请求，返回一个 ClientResponse 对象。
- 使用 await 等待响应完成，并调用 response.json() 解析 JSON 数据。
asyncio.gather：
- asyncio.gather 是 asyncio 的关键函数，用于并发执行多个协程。
- 它会自动调度多个任务，避免主线程阻塞。
asyncio.run：
- asyncio.run(main()) 是启动 asyncio 事件循环的入口，用于运行异步函数。

4. 使用`httpx`的异步请求示例

httpx 是一个更现代化的 HTTP 库，支持同步和异步模式。下面是使用 httpx 的异步请求示例：

import httpx
import asyncio

async def fetch_data(url):
    async with httpx.AsyncClient() as client:
        response = await client.get(url)
        return response.json()

async def main():
    urls = [
        "https://api.example.com/data1",
        "https://api.example.com/data2",
        "https://api.example.com/data3"
    ]

    tasks = [fetch_data(url) for url in urls]
    results = await asyncio.gather(*tasks)
    return results

if __name__ == "__main__":
    asyncio.run(main())

代码解析：

httpx.AsyncClient：
- AsyncClient 是 httpx 的异步客户端，支持异步上下文管理。
- 它的接口与 requests 非常相似，但支持异步操作。
await client.get(url)：
- client.get(url) 是异步方法，返回一个 httpx.Response 对象。
- 使用 await 等待响应完成，并调用 .json() 解析 JSON 数据。
asyncio.gather：
- 同上，用于并发执行多个协程。