【Python爬虫】爬取大量数据网络超时的解决思路

问题

在爬取大量数据的过程中，有时没有注意，会出现网络超时，结果也不知道爬到了哪里，重新爬一遍代价太大。

解决思路

目前提供解决思路，实践之后补充示例代码。

• 思路一
  1.设置超时处理，超过时间返回异常。
  2.重试与超时结合。
  3.在超时范围内发现问题，及时处理。

• 思路二
  1.将要下载的url形成列表文件；
  2.将已下载url记录形成列表文件；
  2.出现错误后比较前后两个文件内容，删除重复内容；
  4.按照删除重复后的列表文件的继续运行下载程序。