大模型推理高并发测试需要协程-CSDN博客

本文链接：https://blog.csdn.net/kjzd123/article/details/141502931

在现代软件开发中，高并发 API 测试是确保系统在高负载下稳定运行的关键步骤。本文将探讨在进行高并发 API 测试时，为什么选择协程（Coroutine）而不是线程（Thread），并提供相应的示例代码。

并行与并发

在深入讨论之前，有必要了解并行（Parallelism）和并发（Concurrency）的区别。

并发（Concurrency）

并发是指在同一时间段内处理多个任务的能力。并发并不一定意味着同时执行，而是指任务之间可以交替进行，从而在宏观上看起来是同时进行。

特性

任务交替执行：在单核处理器上，通过时间片轮转或任务切换实现多个任务的交替执行。
资源共享：并发任务通常共享系统资源，如 CPU、内存和 I/O 设备。
非阻塞：通过异步编程、事件驱动或多线程实现非阻塞操作，提高系统的响应能力。

并行（Parallelism）

并行是指在同一时刻同时执行多个任务。并行通常需要多核处理器或多台计算机来实现真正的同时执行。

特性

同时执行：多个任务在不同的处理器核心上同时执行。
独立任务：并行任务通常是相互独立的，不需要频繁的通信或共享资源。
提高吞吐量：通过同时执行多个任务，提高系统的整体处理能力。

线程与协程

在了解了并行与并发的区别后，我们来具体介绍线程和协程。

线程（Thread）

线程是操作系统能够进行运算调度的最小单位。它被包含在进程中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流。

特性

并行执行：多个线程可以在多核处理器上并行执行。
资源共享：同一进程内的线程共享内存和资源。
开销较大：线程的创建和上下文切换开销较大。

协程（Coroutine）

协程是一种比线程更轻量级的并发模型。协程在单线程的情况下也能实现并发操作，通过事件循环来调度任务。

特性

轻量级：协程的创建和上下文切换开销较低。
非阻塞：通过异步 I/O 操作实现非阻塞，适合 I/O 密集型任务。
单线程：协程在单线程事件循环中运行，不能利用多核处理器的并行能力。

为什么选择协程进行高并发测试？

在进行高并发 API 测试时，选择协程而不是线程有几个重要原因：

资源消耗

线程：线程的创建和上下文切换开销较大，可能导致系统资源耗尽。
协程：协程的创建和上下文切换开销较低，可以更高效地利用系统资源。

I/O 密集型任务

线程：虽然可以处理 I/O 密集型任务，但线程的高开销使其在处理大量 I/O 操作时效率不高。
协程：在处理大量 I/O 操作时表现优异，能够更高效地模拟高并发场景。

代码示例

使用线程进行高并发测试

import concurrent.futures
import requests
import time

def fetch_url(url):
    response = requests.get(url)
    return response.status_code

def main():
    url = 'https://example.com/api'
    with concurrent.futures.ThreadPoolExecutor(max_workers=100) as executor:
        futures = [executor.submit(fetch_url, url) for _ in range(1000)]
        for future in concurrent.futures.as_completed(futures):
            print(future.result())

if __name__ == "__main__":
    start_time = time.time()
    main()
    print(f"Total time: {time.time() - start_time} seconds")

使用协程进行高并发测试

import aiohttp
import asyncio
import time

async def fetch_url(session, url):
    async with session.get(url) as response:
        return response.status

async def main():
    url = 'https://example.com/api'
    async with aiohttp.ClientSession() as session:
        tasks = [fetch_url(session, url) for _ in range(1000)]
        responses = await asyncio.gather(*tasks)
        for response in responses:
            print(response)

if __name__ == "__main__":
    start_time = time.time()
    asyncio.run(main())
    print(f"Total time: {time.time() - start_time} seconds")