过滤代理爬虫代理 Max retries exceeded with URL

最新推荐文章于 2024-08-06 11:14:20 发布

__xa__

最新推荐文章于 2024-08-06 11:14:20 发布

阅读量1k

点赞数

分类专栏： py 文章标签：过滤代理爬虫代理 Max retries exceeded with URL

本文链接：https://blog.csdn.net/dashoumeixi/article/details/86706652

版权

博客主要讨论了在爬虫过程中遇到的'Max retries exceeded with URL'错误，该问题通常由于过多的未关闭连接导致。文章提到了通过调整连接池大小（POOLSIZE）来解决此问题，并且介绍了如何有效管理和过滤爬虫使用的代理。

摘要由CSDN通过智能技术生成

Max retries exceeded with URL : 主要是连接太多没关闭.

sess = requests.session()
sess.keep_alive = False

也可以自定义配置POOLSIZE :

#作用于全局
requests.adapters.DEFAULT_RETRIES = 2  
requests.adapters.DEFAULT_POOLSIZE = 100

#对某个会话配置
s = requests.Session()
adapter = requests.adapters.HTTPAdapter(100,100)
s.mount('http://', adapter)
s.mount('https://', adapter)

过滤代理及爬代理:

import gevent.monkey; gevent.monkey.patch_all()
import sys,threading,requests,re,random
from lxml import etree

import random
import gevent
import time
import  requests.adapters
import requests.sessions

USER_AGENT_LIST = [
    'MSIE (MSIE 6.0; X11; Linux; i686) Opera 7.23',
    'Opera/9.20 (Macintosh; Intel Mac OS X; U; en)'