我自己的经验和理解还不到位。
简而言之我写的代码是面向过程的。所以对于爬虫高级写法(用各种各样的调用方法)不感冒。也不敢兴趣。
我自己想了一个办法,我是写爬的图片。
注意了,我是断点续传不是去重
我的办法是在目标文件夹里面新建一个txt文件,里面写数字,从0开始。 然后每下载一张图就数字加一再写进去(做数字替换)。我不想说细节,只给个思路。
2020年6月7日16:00:19
补充:我这个只适用于小量的目标文件进行操作。目的就是为防止目标图片重新爬取时,替换了原来的爬取的图片。当然也有别的办法,比如把文件名进行修改,总之我的办法相对来说一般。