aiohttp 的使用

于 2024-07-25 18:07:03 发布
阅读量918 收藏 18
点赞数 29
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39217312/article/details/140694071
版权

基本介绍

aiohttp 是一个基于 asyncio 的异步 HTTP 网络模块， 它即提供了服务端， 又提供了客户端。其中，我们用服务端可以搭建一个支持异步处理的服务器，这个服务器就是用来处理请求并返回响应的，类似于 Django , Flask , Tornado 等一些 Web 服务器。 而客户端可以用来发送请求，类似于使用 requests 发起一个HTTP 请求然后获得响应， 但 requests 发起的是同步网络请求， aiohttp 则是异步的

官方文档：Welcome to AIOHTTP — aiohttp 3.9.5 documentation

基本实例

import aiohttp
import asyncio
import nest_asyncio
nest_asyncio.apply()

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text(), response.status

async def main():
    async with aiohttp.ClientSession() as session:
        html, status = await fetch(session, 'https://cuiqingcai.com')
        print(f'html: {html[:100]}...')
        print(f'status:{status}')

if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

html: <!DOCTYPE html>
<html lang="zh-CN">

<head>
  <meta charset="UTF-8">
  <meta name="viewport" content...
status:200

这里可以看到我们成功的获取了网页源代码和响应尊和响应状态码200，也就是完成了一次基本HTTP请求，当然，这样的请求 requests 也可以做到

aiohttp 的请求定义：

在导入库的时候，除了必须导入 aiohttp 这个库，还要导入 asyncio 库，因为要实现异步爬取，需要启动协程，而协程需要借助 asyncio 库中的事件循环才能执行。 除了事件循环之外， asyncio 里面也提供了很多基础的异步操作

每个异步方法的前面都要统一加上 async 来修饰。

with as 前面同样需要加上 async 来修饰。 在 python 中， with as 用于声明一个上下文管理器，能够帮我们自动分配和释放资源。而在异步方法中 ，with as  前面加上 async 代表声明一个支持异步的上下文管理器

对于一些返回协程对象的操作，前面需要加上 await 来修饰。 例如 response 调用的 text 方法，查询 API 可以发现， 其返回的是协程对象，那么前面就要加 await 。 对于状态码来说，其返回的就是一个数值，因此前面不需要加 await 。 所以这里可以按照实际情况来处理，参考官方文档说明，看看其对应的返回值是怎样的类型，然后决定加不加 await 就可以了

最后，定义完爬取方法之后，实际上是 main 方法调用了 fetch 方法，要运行的话，必须启用事件循环，而事件循环需要使用 asyncio 库， 然后调用 run_until_complete 方法来运行

注意： 在Python 3.7 之后的版本中，我们可以使用 asyncio.run(mai()) 代替最后的启动操作，不需要显示声明事件循环， run 方法内部会自动启动一个事件循环。

import aiohttp
import asyncio
import nest_asyncio
nest_asyncio.apply()

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text(), response.status

async def main():
    async with aiohttp.ClientSession() as session:
        html, status = await fetch(session, 'https://cuiqingcai.com')
        print(f'html: {html[:100]}...')
        print(f'status:{status}')

asyncio.run(main())

html: <!DOCTYPE html>
<html lang="zh-CN">

<head>
  <meta charset="UTF-8">
  <meta name="viewport" content...
status:200

效果一样

url 参数设置

对于URL 参数设置，我们可以使用 params 参数，传入一个字典即可

import aiohttp
import asyncio

async def main():
    params = {'name': 'germey', 'age': 25}
    async with aiohttp.ClientSession() as session:
        async with session.get('http://www.httpbin.org/get', params=params) as response:
            print(await response.text())
if __name__=='__main__':
    asyncio.run(main())

{
  "args": {
    "age": "25", 
    "name": "germey"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate, br", 
    "Host": "www.httpbin.org", 
    "User-Agent": "Python/3.11 aiohttp/3.9.3", 
    "X-Amzn-Trace-Id": "Root=1-66a21748-480d5a6e579d1a3b3cd1a710"
  }, 
  "origin": "117.152.24.110", 
  "url": "http://www.httpbin.org/get?name=germey&age=25"
}

这里可以看到，实际请求的URL 为 http://www.httpbin.org/get?name=germey&age=25 ，其中参数对应的是 params 中的内容

其他请求类型

aiohttp 还支持其他请求类型， 例如 POST ,PUT ,DELETE 等

session.post('http://www.httpbin.org/post',fdata=b'data')

session.put('http://www.httpbin.org/put',fdata=b'data')

session.delete('http://www.httpbin.org/post',fdata=b'data')

POST 请求

对于 POST 表单提交，其对应的请求头中的 Content-Type 为 application/x-www-form-urlencoded

import aiohttp
import asyncio

async def main():
    data = {'name': 'germey', 'age': 25}
    async with aiohttp.ClientSession() as session:
        async with session.post('https://www.httpbin.org/post', data=data) as response:
            print(await response.text())
if __name__== '__main__':
    asyncio.run(main())

{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "age": "25", 
    "name": "germey"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate, br", 
    "Content-Length": "18", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "www.httpbin.org", 
    "User-Agent": "Python/3.11 aiohttp/3.9.3", 
    "X-Amzn-Trace-Id": "Root=1-66a21972-0acc966c70ce51551219c086"
  }, 
  "json": null, 
  "origin": "117.152.24.110", 
  "url": "https://www.httpbin.org/post"
}

对于POST JSON 数据的提交， 其对应的请求头中的 Content-Type 为 application/json， 我们只需要将 post 方法里的 data 参数改成 json 即可

import aiohttp
import asyncio

async def main():
    data = {'name': 'germey', 'age': 25}
    async with aiohttp.ClientSession() as session:
        async with session.post('https://www.httpbin.org/post', json=data) as response:
            print(await response.text())
if __name__== '__main__':
    asyncio.run(main())

{
  "args": {}, 
  "data": "{\"name\": \"germey\", \"age\": 25}", 
  "files": {}, 
  "form": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate, br", 
    "Content-Length": "29", 
    "Content-Type": "application/json", 
    "Host": "www.httpbin.org", 
    "User-Agent": "Python/3.11 aiohttp/3.9.3", 
    "X-Amzn-Trace-Id": "Root=1-66a21abd-5bd0bcc5362a212746b15be4"
  }, 
  "json": {
    "age": 25, 
    "name": "germey"
  }, 
  "origin": "117.152.24.110", 
  "url": "https://www.httpbin.org/post"
}

响应

对于响应来说，我们可以用如下方法获取其中的状态码， 响应体， 响应体二进制内容，响应体JSON结果

import aiohttp
import asyncio

async def main():
    data = {'name': 'germey', 'age': 25}
    async with aiohttp.ClientSession() as session:
        async with session.post('https://www.httpbin.org/post', data=data) as response:
            print('status:', response.status)
            print('headers:', response.headers)
            print('body:', await response.text())
            print('bytes:', await response.read())
            print('json:', await response.json())
if __name__ == '__main__':
    asyncio.run(main())

status: 200
headers: <CIMultiDictProxy('Date': 'Thu, 25 Jul 2024 09:35:42 GMT', 'Content-Type': 'application/json', 'Content-Length': '516', 'Connection': 'keep-alive', 'Server': 'gunicorn/19.9.0', 'Access-Control-Allow-Origin': '*', 'Access-Control-Allow-Credentials': 'true')>
body: {
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "age": "25", 
    "name": "germey"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate, br", 
    "Content-Length": "18", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "www.httpbin.org", 
    "User-Agent": "Python/3.11 aiohttp/3.9.3", 
    "X-Amzn-Trace-Id": "Root=1-66a21c6d-0bd06f745165ce7917c83621"
  }, 
  "json": null, 
  "origin": "117.152.24.110", 
  "url": "https://www.httpbin.org/post"
}

bytes: b'{\n  "args": {}, \n  "data": "", \n  "files": {}, \n  "form": {\n    "age": "25", \n    "name": "germey"\n  }, \n  "headers": {\n    "Accept": "*/*", \n    "Accept-Encoding": "gzip, deflate, br", \n    "Content-Length": "18", \n    "Content-Type": "application/x-www-form-urlencoded", \n    "Host": "www.httpbin.org", \n    "User-Agent": "Python/3.11 aiohttp/3.9.3", \n    "X-Amzn-Trace-Id": "Root=1-66a21c6d-0bd06f745165ce7917c83621"\n  }, \n  "json": null, \n  "origin": "117.152.24.110", \n  "url": "https://www.httpbin.org/post"\n}\n'
json: {'args': {}, 'data': '', 'files': {}, 'form': {'age': '25', 'name': 'germey'}, 'headers': {'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate, br', 'Content-Length': '18', 'Content-Type': 'application/x-www-form-urlencoded', 'Host': 'www.httpbin.org', 'User-Agent': 'Python/3.11 aiohttp/3.9.3', 'X-Amzn-Trace-Id': 'Root=1-66a21c6d-0bd06f745165ce7917c83621'}, 'json': None, 'origin': '117.152.24.110', 'url': 'https://www.httpbin.org/post'}

可以看到这里有些字段需要加上 await 有些不需要，其原则是， 如果返回的是一个协程对象（如 async 修饰的方法），那么前面就要加上 await 具体可以看 aiohttp 的 API 其链接为： https://docs.aiohttp.org/en/stable/client_reference.html

超时设置

我们可以借助 ClientTimeout 对象设置超时， 例如 1秒时间可以这样设置

import aiohttp
import asyncio

async def main():
    timeout = aiohttp.ClientTimeout(total=1)
    async with aiohttp.ClientSession(timeout=timeout) as session:
        async with session.get('https://www.httpbin.org/get') as response:
            print('status:', response.status)
if __name__ == '__main__':
    asyncio.get_event_loop().run_until_complete(main())

如果在 1 秒内成功获取响应结果如下

status: 200

如果失败

并发限制

由于 aiohttp 可以支持非常高的并发量，如几万，十万， 百万都是能做到的，但是面对如此高的并发量，目标网站可能无法再短时间内响应，而且有瞬间将目标网站爬挂掉的风险，这提示我们要控制一下爬取的并发量

一般情况下，可以借助 asyncio 的 Semaphore 来控制并发量

import asyncio
import aiohttp

CONCURRENCY = 5
URL = 'https://www.baidu.com'

semaphore = asyncio.Semaphore(CONCURRENCY)
session = None

async def scrape_api():
    async with semaphore:
        print('scraping', URL)
        async with session.get(URL) as response:
            await asyncio.sleep(1)
            return await response.text()

async def main():
    global session
    session = aiohttp.ClientSession()
    scrape_index_tasks = [asyncio.ensure_future(scrape_api()) for _ in range(10000)]
    await asyncio.gather(*scrape_index_tasks)

if __name__=='__main__':
    asyncio.run(main())

这里我们声明了 CONCURRENCY （代表爬取最大并发量） 为 5， 同时声明爬取的目标 URL 为百度。 接着，借助 Semaphore 创建了一个信号量对象，将其赋值为 semaphore ， 这样就可以用它来控制最大并发量了。 这里我们把 semaphore 直接放在了对应的爬取方法里， 使用 async with 语句将 semaphore 作为上下文管理对象即可。 这样一来，信号便可以控制进入爬取的最大协程数量，即我们声明的 CONCURRENCY 的值

在main 方法里， 我们声明了 10000 个 task ，将其传递给 gather 方法运行， 倘若不加以限制，那么 这 10000 个 task 会被同时执行， 并发量相当的大，但是有了信号量的控制之后，同时运行的 task 数量会被控制在 5个， 这样就能给 aiohttp 限制速度了

 

qq_39217312
关注
Python异步网络编程利器——详解aiohttp的使用教程
Saki_Python的博客
11-02 1728
一、引言在现代Web应用程序开发中，网络请求是非常常见的操作。然而，传统的同步网络请求方式在处理大量请求时会导致性能瓶颈。为了解决这个问题，Python提供了aiohttp库，它是一个基于异步IO的网络请求库，可以实现高效的并发网络请求。本文将详细介绍aiohttp的各种使用方法，帮助你更好地理解和使用这个强大的工具。二、安装和导入在开始使用aiohttp之前，我们需要先安装它。三、发起GET请求使用aiohttp发起GET请求非常简单。
aiohttp使用
qq_34272745的博客
09-03 232
import requests import re import time from lxml import etree # 导入线程池模块对应的类 from multiprocessing.dummy import Pool import asyncio # 使用该模块中的一个ClienSession对象进行网络化请求 import aiohttp start = time.time() urls = [ 'www.baidu.com', 'www.csdn.com', 'www.bilibil
Python aiohttp 使用指南：快速入门教程，实战分析
最新发布
2401_84239830的博客
04-17 764
除了作为异步 Web 服务器，aiohttp 还提供了一个异步 HTTP 客户端，用于向其他服务器发起异步请求。等协议的接口，在后端人员写完服务接口时，测试阶段可以通过 Apifox 来校验接口的正确性，图形化界面极大的方便了项目的上线效率。在你的 IDE 编辑器中运行上面的代码，你将会看到 aiohttp 服务器已经在本地运行，并监听在默认端口上。在本文的例子中，就可以通过 Apifox 来测试接口。这个例子中，我们定义了一个 POST 请求的处理函数。发起一个异步的 GET 请求，并返回响应内容。
Python爬虫：aiohttp的介绍和基本使用
rubyw的博客
09-19 1051
的入门，它有丰富的功能和选项，可以用于构建各种类型的异步网络应用程序，包括Web应用、REST API、WebSocket服务器等。这个示例创建了一个异步HTTP客户端，向指定的URL（https://www.example.com）发送GET请求，并打印响应的HTML内容。它允许你创建高性能的异步HTTP客户端和服务器，以处理并发请求和响应。上的GET请求，并返回一个包含 “Hello, world” 文本的HTTP响应。下面是一个简单的示例，展示了如何使用。
aiohttp库的使用
Note
11-09 755
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基
aiohttp使用方法
04-05
以下是使用aiohttp创建Web服务器和客户端的基本步骤： 1. 安装aiohttp库：使用pip安装aiohttp库。 ``` pip install aiohttp ``` 2. 创建Web服务器：创建一个aiohttp应用程序对象，并将路由添加到该应用程序对象。...
aiohttp 使用教程
05-05
以下是 aiohttp 的使用教程： 1. 安装 aiohttp： 可以通过 pip 安装 aiohttp： ``` pip install aiohttp ``` 2. 发送 HTTP 请求： aiohttp 提供了 `ClientSession` 类，可以用来发送 HTTP 请求。 ```python ...
aiohttpproxy:简单的 aiohttp HTTP 代理
07-13
使用您最喜欢的 Python 打包程序安装： $ easy_install-3.4 aiohttpproxy-0.0.1/ $ pip-3.4 install git+https://github.com/jmehnle/aiohttpproxy.git 用法 代理完全由命令行控制，语法如下： usage: ...
asyncio aiohttp 使用方法
05-17
asyncio和aiohttp都是Python的标准库，可以用于异步编程和HTTP客户端/服务器开发。下面是一个简单的使用示例： ### 安装依赖 ```python ...使用asyncio和aiohttp可以轻松地编写高效的异步Python应用程序。
Python库的重要性及aiohttp使用教程
在使用aiohttp-0.13.0或任何其他版本时，开发者可以编写出更高效、响应更快的异步HTTP客户端和服务器代码。这个库的异步特性对于需要处理大量并发连接或高I/O负载的应用程序尤其重要。aiohttp还提供了对WebSockets的...
Python3 爬虫教程 - aiohttp 的基本使用
xiaoganaiuk的博客
06-08 3199
前面介绍的 asyncio 模块内部实现了对 TCP、UDP、SSL 协议的异步操作，但是对于 HTTP 请求来说，我们就需要用到 aiohttp 来实现了。aiohttp 是一个基于 asyncio 的异步 HTTP 网络模块，它既提供了服务端，又提供了客户端。其中我们用服务端可以搭建一个支持异步处理的服务器，就是用来处理请求并返回响应的，类似于 Django、Flask、Tornado 等一些 Web 服务器。而客户端可以用来发起请求，类似于使用 requests 发起一个 HTTP 请求然后获得响应，
aiohttp 常用方法
高压锅博客
05-26 566
1. aiohttp 基础用法 # aiohttp.ClientSession(**kw).request的方式即可 import aiohttp async with aiohttp.ClientSession() as session: async with session.get('https://api.github.com/events') as resp: assert resp.status == 200 return await resp.text() 2. se
Python aiohttp 使用指南：快速入门教程
aobulaien001的博客
12-12 1237
aiohttp 是一个基于异步 I/O 的 Web 框架，专注于提供高性能、低开销的异步 Web 服务。它允许我们同时处理大量并发请求，而不会阻塞程序执行。aiohttp 使用 Python 的 async/await 语法来实现异步编程，这使得编写异步代码更加直观和简洁。在传统的同步编程中，每个任务都是按照顺序依次执行的。如果一个任务需要等待一些耗时的操作（如网络请求或文件读取），那么整个程序将会被阻塞，导致其他任务无法执行。
aiohttp从入门到精通
所寫即所思｜一个阿里质量人对测试的所感所悟。
05-27 3686
异步编程是一种编写并发代码的方法，它能够提高程序的性能和响应速度。在传统的同步编程模型中，程序会等待一个函数或任务完成才能继续执行下一个任务，这可能会导致长时间的等待和阻塞。而在异步编程模型中，程序可以同时处理多个任务，并且不会阻塞主线程。异步编程通常基于回调、事件循环和协程来实现。回调是指当一个函数完成时，调用另一个函数来处理结果。事件循环是一种机制，通过在一个无限循环中不断地监听和处理事件，来实现异步操作和并发处理。
python aiohttp与aiohttp
lqbz的总结
06-13 4168
初步使用 # -*- coding: utf-8 -*- import asyncio import aiohttp #async以及await关键字将函数异步化,首先异步获取相应，然后异步读取响应的内容 async def fetch(): #Aiohttp使用ClientSession作为主要的接口发起请求，Session(会话)在使用完毕之后需要关闭，关闭Session是...
python3网络爬虫aiohttp实战案例
qq_51723187的博客
07-29 876
本文介绍了使用aiohttp库实现异步爬虫爬取网站图书的评论，及其代码的详细解释（案例来源于python3网络爬虫开发实战，本人对其进行了改编）
Python中的aiohttp模块简单运用
捷的博客
04-25 1603
在Python中，aiohttp是一个非常有用的库，因为它可以帮助我们更轻松地进行异步HTTP请求。例如，我们可以使用aiohttp中的post()方法发送POST请求，或者使用aiohttp中的WebSocket类来与WebSocket服务器进行通信。在这个示例中，我们使用aiohttp发送了get，post，put，delete请求，并输出了响应文本。在这个示例中，我们定义了一个fetch()函数，它使用aiohttp库发起HTTP请求并返回响应的文本内容。
Python aiohttp 完全指南：快速入门
LiamHong_的博客
11-17 6917
aiohttp 是一个基于异步 I/O 的 Web 框架，专注于提供高性能、低开销的异步 Web 服务。它允许我们同时处理大量并发请求，而不会阻塞程序执行。aiohttp 使用 Python 的 async/await 语法来实现异步编程，这使得编写异步代码更加直观和简洁。在传统的同步编程中，每个任务都是按照顺序依次执行的。如果一个任务需要等待一些耗时的操作（如网络请求或文件读取），那么整个程序将会被阻塞，导致其他任务无法执行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值