压力测试第3小时：QPS飙升至10万，如何用`asyncio`优化FastAPI应用？-CSDN博客

本文链接：https://blog.csdn.net/itAred/article/details/147359827

面试官：小兰，现在假设你正在参与一个压力测试，应用的QPS突然从2000飙升到10万，系统响应时间急剧上升。你有15分钟的时间分析并优化FastAPI应用的性能。你怎么看？需要从数据库查询、外部API调用和资源竞争等方面入手，结合asyncio的特性进行优化。

小兰：

啊！QPS飙升到10万？这不就是我上次用asyncio煮方便面时，锅里突然放了10万颗泡面嘛！不过别急，让我捋捋思路。

首先，我感觉问题可能出在数据库查询上。数据库就像一个老式电话亭，每次只能接通一个电话。如果太多请求同时挤进来，就会排长队。我们可以用asyncio的异步特性，让数据库查询也变成“虚拟排队”，比如用asyncpg或者SQLAlchemy的异步接口。这样每次查询就不一定得卡住整个事件循环了。

然后是外部API调用。外部API就像我平时叫外卖，每次点餐都要等送货小哥来送。我们可以用asyncio的asyncio.gather函数，同时发起多个API请求，就像同时叫多个外卖一样，这样效率会高很多。

至于资源竞争，这不就是我用共享电饭煲做饭时，好几个人同时打开盖子吗？我们可以用asyncio的锁机制，比如asyncio.Lock，确保每次只有一个任务在操作共享资源。

最后，我们可以用asyncio的事件循环分析工具，比如asyncio.run_until_complete，来监控哪些地方耗时最长。就像给程序装一个“加速器”，找到性能瓶颈。

面试官：

小兰，你的比喻还是挺生动的，但这次你提到的优化方案有些笼统。具体来说，如何在FastAPI中结合asyncio优化数据库查询和外部API调用？能否详细说说？

小兰：

好的，那我就具体说说。

1. 优化数据库查询

数据库查询是性能瓶颈的常见来源。FastAPI默认支持asyncio，我们可以通过异步数据库驱动（如asyncpg或SQLAlchemy的异步接口）来优化查询。

使用异步数据库驱动：

from sqlalchemy.ext.asyncio import create_async_engine

engine = create_async_engine("postgresql+asyncpg://user:password@localhost/dbname")

异步执行查询：

async def get_items():
    async with engine.connect() as connection:
        result = await connection.execute(text("SELECT * FROM items"))
        return result.fetchall()

这样可以让数据库查询异步执行，不会阻塞事件循环。

批量查询：如果需要批量查询，可以使用asyncio.gather：

async def batch_get_items(ids):
    tasks = [get_item_by_id(id) for id in ids]
    return await asyncio.gather(*tasks)

2. 优化外部API调用

外部API调用通常会因网络延迟导致性能下降。我们可以用httpx的异步客户端来优化。

异步调用外部API：

import httpx

async def fetch_data(url):
    async with httpx.AsyncClient() as client:
        response = await client.get(url)
        return response.json()

并发调用多个API：

async def fetch_multiple_apis(urls):
    async with httpx.AsyncClient() as client:
        tasks = [client.get(url) for url in urls]
        responses = await asyncio.gather(*tasks)
        return [response.json() for response in responses]

3. 解决资源竞争问题

如果多个任务同时访问共享资源（如文件、数据库连接池等），可能会导致资源竞争。我们可以用asyncio.Lock来保护共享资源。

使用asyncio.Lock：

import asyncio

lock = asyncio.Lock()

async def update_shared_resource():
    async with lock:
        # 保护共享资源的代码
        pass

4. 性能监控与分析

为了快速找到性能瓶颈，我们可以使用asyncio的事件循环分析工具，比如asyncio.run和asyncio.run_until_complete，结合tracemalloc或cProfile来监控耗时。

监控耗时任务：

import asyncio
import time

async def measure_time(task):
    start = time.time()
    await task
    end = time.time()
    print(f"Task took {end - start} seconds")

5. 更高效的并发控制

如果QPS非常高，我们可以限制并发任务的数量，避免资源过度消耗。asyncio提供了_semaphore来控制并发。

限制并发任务：

semaphore = asyncio.Semaphore(100)  # 限制并发任务数为100

async def fetch_with_concurrency(url):
    async with semaphore:
        async with httpx.AsyncClient() as client:
            return await client.get(url)