- 博客(1)
- 收藏
- 关注
RSS订阅原创 Scrapy爬虫踩坑记录
Scrapy作为一个优秀的爬虫框架，尽管其体系已相当成熟，但实际操作中其实还是需要借助其他插件的力量来完成某些网站的爬取工作，今天记录一下博主爬虫路上的一些坑及解决方案，避免大家走太多弯路。一、DEBUG: Filtered duplicate request: GET xxx - no more duplicates will be shown (see DUPEFILTER_DEBUG to show all duplicates)对网站全站爬取数据时，遇到了这个报错。Scrapy会对reques
2020-12-17 17:29:51
1820
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人