python并发执行request请求

最新推荐文章于 2025-04-24 17:46:29 发布

Tech Synapse

最新推荐文章于 2025-04-24 17:46:29 发布

阅读量1.1k

点赞数 17

文章标签： python 开发语言并发执行request请求

本文链接：https://blog.csdn.net/m0_72958694/article/details/139985888

版权

在Python中，我们可以使用requests库来发送HTTP请求，并使用threading、multiprocessing、asyncio（配合aiohttp）或concurrent.futures等库来并发执行这些请求。这里，我将为我们展示使用concurrent.futures.ThreadPoolExecutor和requests库并发执行HTTP请求的示例。

1.使用`concurrent.futures.ThreadPoolExecutor`并发发送请求示例

首先，我们需要安装requests库（如果还没有安装的话）：

bash复制代码

pip install requests

然后，我们可以使用以下代码来并发地发送HTTP GET请求：

import concurrent.futures  
import requests  
  
# 假设我们有一个URL列表  
urls = [  
    'http://example.com/api/data1',  
    'http://example.com/api/data2',  
    'http://example.com/api/data3',  
    # ... 添加更多URL  
]  
  
# 定义一个函数，该函数接收一个URL，发送GET请求，并打印响应内容  
def fetch_data(url):  
    try:  
        response = requests.get(url)  
        response.raise_for_status()  # 如果请求失败（例如，4xx、5xx），则抛出HTTPError异常  
        print(f"URL: {url}, Status Code: {response.status_code}, Content: {response.text[:100]}...")  
    except requests.RequestException as e:  
        print(f"Error fetching {url}: {e}")  
  
# 使用ThreadPoolExecutor并发地执行fetch_data函数  
with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:  # 我们可以根据需要调整max_workers的值  
    future_to_url = {executor.submit(fetch_data, url): url for url in urls}  
    for future in concurrent.futures.as_completed(future_to_url):  
        url = future_to_url[future]  
        try: