coroutine异步爬虫使用ip代理报错：TypeError: _request() got an unexpected keyword argument ‘proxies‘ 问题解决

最新推荐文章于 2023-10-22 01:27:06 发布
最新推荐文章于 2023-10-22 01:27:06 发布
阅读量1.3k 收藏 1
点赞数 5
文章标签： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44720212/article/details/131755615
版权

1.用coroutine的aiohttp爬虫，并挂上代理ip后，出现如下报错，意思是没有proxies，

在requests中使用proxies是没问题的，但是异步中就不行了

 

2.原来aiohttp的ClientSession中用的是proxy关键字，而不是proxies，马上改！但是运行依然报错，这次报错信息是说proxy必须是字符串而不是字典 

3.我的ip代理池返回的proxies是个字典，现在异步代码中的proxy要字符串，即proxy="http://223.109.206.233:9174"这种格式，那就通过字典的键取出值即可

 异步代码中的proxy修改如下，通过or选择是https还是http协议，完美解决问题！

 

 

weixin_44720212
关注
sdbusplus：通过connection::yield_method_call以协程异步调用service的method
风静如云的博客
03-19 687
使用的service，参考。
docker-compose up启动时报错 HTTPConnection.request() got an unexpected keyword argument ‘chunked‘
最新发布
WU2629409421perfect的博客
11-18 7905
声明：docker 版本为：24.0.5；docker-compose版本为：1.29.2。
TypeError: _request() got an unexpected keyword argument ‘verify‘
qq_38236017的博客
10-22 1127
错误信息"TypeError: _request() got an unexpected keyword argument 'verify'"，当前使用的。时禁用SSL证书验证，使用自定义的。发送网络请求时设置了。
python3.5里面 urlopen 代理不能识别proxies关键字的问题
qq_37025885的博客
01-10 6969
urllib.request 里面 的 urlopen  proxies={‘http’:proxies} 无法识别出现 下列错误如何解决 got an unexpected keyword argument 'proxies' 首先通过 cmd，用命令 python -v 找到   C:\Users\computorname\AppData\Local\Programs\
python requests错误
Hard struggle
12-19 1135
错误： Max retries exceeded with url Failed to establish a new connection 原因：请求过多;访问次数频繁，被禁止访问。 connection默认是keep-alive的。 解决方法： 一、 s = requests.session() s.keep_alive = False 二、 增加重试连接次数 requests.adapter...
python requests max_retries 设置最大重试次数
AI人工智能与大数据
09-16 3273
python requests max_retries 设置最大重试次数
第六章：高性能异步爬虫_第六章：高性能异步爬虫_
09-29
5. **IP代理**：为了避免被目标网站封禁，可以使用IP代理池，定期更换IP地址进行爬取。 6. **反反爬策略**：许多网站有反爬机制，如验证码、User-Agent限制等，需要根据实际情况调整爬虫策略。 通过以上技术，我们...
libaco：出色而又轻巧的C不对称协程库:gem_stone::sun_behind_cloud::rocket::sun_behind_cloud::sun_with_face:
01-31
总结来说，libaco是一个针对C语言设计的轻量级、高性能的不对称协程库，它的高效特性和易用性使得它成为处理并发和异步问题的理想选择。在实际应用中，开发者可以借助libaco简化复杂任务的管理，提升程序的运行效率...
Android上的Kotlin-Coroutine使用案例：:graduation_cap:以示例方式学习Android的Kotlin协程。 for现实世界中Android用例的示例实现。 :hammer_and_wrench:包含单元测试！
01-30
Kotlin协程是一种轻量级的并发机制，专为解决Android应用中的异步处理而设计。在Android开发中，传统的方式如Handler、AsyncTask或者使用线程池处理异步任务可能导致资源浪费和内存泄漏。而Kotlin协程提供了一种更...
spider:基于 AsyncIO 的异步爬虫，采用缓存机制，高效、易用
05-16
**Python异步爬虫：基于AsyncIO的高效解决方案** 在Python世界中，网络爬虫是数据获取的重要工具，尤其在大数据时代，对于信息的抓取和分析变得愈发关键。而`AsyncIO`库的出现，为Python的网络爬虫开发带来了革命性...
【转载】爬虫篇——httpx的基础知识（总结）
weixin_40458518的博客
04-22 2378
注意：httpx库的使用方法，跟requests库的使用方法非常相似，学会requests库，再学httpx库非常容易。 查看请求所用的协议是HTTP/1.1，还是HTTP/2.0的方法(打开浏览器的开发者模式中查看)： 一、快速入门 urllib和request只支持HTTP/1.1,不支持HTTP/2.0 httpx跟request很相似，不过httpx既支持HTTP/1.1,也支持HTTP/2.0 httpx默认是HTTP/1.1，需要安装httpx[http2] 特殊情况下，httpx.Cli
python request.session get() got an unexpected keyword argument 'cookies'
白开水的博客
10-07 1万+
有问题版本：2.20.0 使用命令: pip install -U requests 版本升级至：2.22.0 问题解决
get() got an unexpected keyword argument
weixin_30872157的博客
04-29 7549
TypeError: get() got an unexpected keyword argument 'news_id'ERROR basehttp 154 "GET /news/3/ HTTP/1.1" 500 70524 原因 Url 和 . 视图 ...
批训练错误之got an unexpected keyword...
热门推荐
ThunderF的博客
07-05 2万+
目录提要原始情况初步调试继续调试最后反思 提要        最近我在学习莫烦的神经网络的批训练时，遇到了一个问题，就是在创建dataset时报__init__() got an unexpected keyword argument 'data_tensor'，我找了很久都没有有效的结果。但是我偶然尝试了一下结果成功了，下面就...
python(5):TypeError: xxx() got an unexpected keyword argument ‘xxx‘
biter0088的博客
05-30 2万+
定义了一个python函数，调用时出现报错如下： Traceback (most recent call last): File "gaussian_kernel.py", line 18, in <module> print(gaussian_kernel_vectorization(x, x, l=500, sigma=10)) TypeError: gaussian_kernel_vectorization() got an unexpected keyword argum
TypeError: gather() got an unexpected keyword argument 'loop' sys:1: RuntimeWarning: coroutine 'AndroidConnector.connect' was never awaited
03-21
这可能是因为你使用的是过时的 gather() 函数，或者你的代码中存在语法错误。建议检查你的代码，确保正确使用 gather() 函数，并且没有语法错误。至于第二个警告，它表明在你的代码中，协程 'AndroidConnector....
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值