整理于2020年10月下旬,献给不甘平凡的你
更多企业级爬虫知识请查收于:python3 爬虫回忆录_Songsong-CSDN博客
scrapy爬虫
scrapy在迭代爬取时被拒offsite增加dont_filter = True
yield scrapy.Request(url=source_url, callback=self.cf_prase,
meta={'title': title, 'source_url': source_url, 'createdAt': createdAt,"indexesCode":indexesCode},
)#dont_filter=True
被拒情况如下:
解决办法:将
#dont_filter=True加入 (不用过滤=真)
结果如下:
如上:很显然拿到了结果
Trick:我用的python版本为3.68 。3.68以上的新写法字符串格式 :在Python如今的版本中,你居然不会f-strings字符串格式化方法? - 简书