解决 python aiohttp 创建很多线程问题

最近使用 python aiohttp 进行异步的发送请求,在命令行中 用py-spy 来监控了一下 发现 运行python程序 创建了 125 线程,吓了我一跳。
Google了很久 找到解决方法了。
原因:每次发送请求时 aiohttp.ClientSession 查询dns 。这个查询dns是阻塞的,所以它每次查询dns时开启一个线程的。
所以我在代码里 给它指定了 dns查询对象 起作用了。

from aiohttp.resolver import AsyncResolver
resolver = AsyncResolver()
tcp_conn = aiohttp.TCPConnector(resolver=resolver)
async with aiohttp.ClientSession(connector=tcp_conn) as session:
	await process_spider(spider, session)

运行程序时 有可能提示 需要aiodns. 安装即可: pip install aiodns .

  • 3
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值