用python 的request模块,爬一个网站,
隐私所在,所以把get方法内的地址去掉了,大家理解。
因为我的爬虫方法写在一个循环内,执行大约240次后,就报错误:
urllib3.exceptions.ProtocolError: ('Connection aborted.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))
后经打听,服务器把这个当成了DDOS攻击。
解决方法:
头部需要引入
import time
在调用request的循环内,加入方法
time.sleep(0.5)
幸好数据量不大,0.5秒的间隔尚且忍受。问题解决