关于爬虫的伪断点续传问题

我自己的经验和理解还不到位。
简而言之我写的代码是面向过程的。所以对于爬虫高级写法(用各种各样的调用方法)不感冒。也不敢兴趣。

我自己想了一个办法,我是写爬的图片。
注意了,我是断点续传不是去重

我的办法是在目标文件夹里面新建一个txt文件,里面写数字,从0开始。 然后每下载一张图就数字加一再写进去(做数字替换)。我不想说细节,只给个思路。

2020年6月7日16:00:19
补充:我这个只适用于小量的目标文件进行操作。目的就是为防止目标图片重新爬取时,替换了原来的爬取的图片。当然也有别的办法,比如把文件名进行修改,总之我的办法相对来说一般。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值