发现昨天西刺网的ip存数据库里,今天再用基本没用,于是就先去西刺
先爬第一页然后爬取前30个ip随机抽取一个对58进行爬取
然后尴尬了西刺网把我封了
然后又动了个歪脑筋,用西刺网的代理ip去访问爬取西刺网的ip结果呵呵依然没用
HTTPConnectionPool(host='191.28.31.250', port=8080): Max retries exceeded with url: http://www.xicidaili.com/wt/ (Caused by ProxyError('Cannot connect to proxy.', NewConnectionError('<urllib3.connection.HTTPConnection object at 0x0000000006617320>: Failed to establish a new connection: [WinError 10061] 由于目标计算机积极拒绝,无法连接。',)))
最终解决办法:
重启 路由器 更换本地的ip地址