爬虫请求被限制

Max retries exceeded with url Failed to establish a new connection

错误原因：访问过于频繁，网站为防止误伤限制用户访问行为。

解决方法：
一：
s = requests.session()
s.keep_alive = False

一、通过多个请求共用一个连接实现“减员增效”：单位时间内新建、关闭的连接的数目少了，但可实现的有效请求多了，并且也能有效降低给目标服务器造成的压力。
s = requests.session()
s.keep_alive = False
二、设置增加重试连接次数
requests.adapters.DEFAULT_RETRIES = 5
三、原理同一
headers={‘Connection’:‘close’}
四、设置随机休眠
sleep(random…)
五、添加代理

proxies={…}