协程(aiohttp)使用基础教程

最新推荐文章于 2024-09-01 07:53:35 发布

流量猎手

最新推荐文章于 2024-09-01 07:53:35 发布

阅读量253

点赞数

分类专栏：协程

本文链接：https://blog.csdn.net/haohaomax1/article/details/113132691

版权

协程专栏收录该内容

2 篇文章 0 订阅

订阅专栏

本文介绍了一个使用Python的aiohttp库进行异步网络请求的例子。通过创建异步函数fetch来处理HTTP请求，并利用asyncio库实现并发请求，极大地提高了加载速度。文中详细展示了如何配置SSL证书、设置代理及自定义请求头。

摘要由CSDN通过智能技术生成

# -*- coding: UTF-8 -*-
import aiohttp
import asyncio
import platform
import ssl
import certifi  # 这个如果没有安装，那就pip install
# 事件循环策略有关, windows系统需要选择使用windows的事件循环策略
if 'Windows' in platform.platform():
    policy = asyncio.WindowsSelectorEventLoopPolicy()
    asyncio.set_event_loop_policy(policy)

async def fetch(client, url , headers , proxy):
    async with client.get(url, headers = headers ,proxy = proxy) as r:
        return await r.text()

async def main():
   timeout = aiohttp.ClientTimeout(10)
   # 获取ssl证书的位置
   ssl_context = ssl.create_default_context()
   ssl_context.load_verify_locations(certifi.where())
   # 自定义ssl的连接器
   connector = aiohttp.TCPConnector(ssl=ssl_context)
   client = aiohttp.ClientSession(timeout= timeout, connector = connector)
   url = 'http://httpbin.org/get'
   headers = {
       "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Safari/537.36"
   }
   proxy = "http://123.24.42.45:15397"
   html = await fetch(client, url, headers, proxy)
   print(html)
   await client.close()

asyncio.run(main())

协程异步加载速度要远远快于requests