python 爬虫 requests 错误汇总

最新推荐文章于 2024-07-09 15:58:38 发布

未金涛

最新推荐文章于 2024-07-09 15:58:38 发布

阅读量4.9k

点赞数

分类专栏： Python 文章标签： python 爬虫

本文链接：https://blog.csdn.net/weixin_39753511/article/details/109352455

版权

本文总结了使用Python requests库进行爬虫时可能遇到的错误，包括ProxyError（代理错误）、InsecureRequestWarning（SSL警告）、ConnectionError（连接错误）、ReadTimeout（读取超时）和TooManyRedirects（重定向过多）。针对这些问题，提供了相应的解决办法和参考资料。

摘要由CSDN通过智能技术生成

1、发生异常: ProxyError

HTTPSConnectionPool(host=‘www.baidu.com’, port=443): Max retries exceeded with url: /s?ie=UTF-8&wd=free (Caused by ProxyError(‘Cannot connect to proxy.’, OSError(‘Tunnel connection failed: 407 Proxy Authentication Required’)))
File “D:\github\python\jav_baidu_reptiles\text2.py”, line 53, in get_baidu_wd
r = requests.get(
File “D:\github\python\jav_baidu_reptiles\text2.py”, line 131, in
get_baidu_wd(item,‘free’)

>-  原因分析：使用的代理有问题`Cannot connect to proxy`

2、ssl警告

C:\Users\wjt\AppData\Local\Programs\Python\Python39\lib\site-packages\urllib3\connectionpool.py:981: InsecureRequestWarning: Unverified HTTPS request is being made to host ‘1.199.6.141’. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/lates