PythonrequestsHTTP“Maxretriesexceededwithurl”error_F_hawk189_新浪博客

今天跑了一下之前写的额爬虫，发现频繁执行时会报出一个超过最大连接数的问题。

网上查了一下，

原因是 http连接太多没有关闭导致的。

通俗来说就是每次爬取时建立一个HTTP连接，但是这个http连接没有结束，又新建了连接。

解决办法：

1、增加重试连接次数

2、关闭多余的连接

requests使用了urllib3库，默认的http connection是keep-alive的，requests设置False关闭。