lingfeng5的专栏

 CrawlSpider爬虫，在使用rule提取链接后，如何添加headers、cookies--------------------------------Scrapy框架中分两类爬虫，Spider类和CrawlSpider类。在scrapy中，对有规律或者无规律的网站进行自动爬取时，常用到CrawlSpider类，它通过定义了一些规则(Rule类)提取页面的url，并自动发起request跟进...

scrapy 自带了去重方案，通过RFPDupeFilter类完成去重，查看源码。 def request_seen(self, request): fp = self.request_fingerprint(request) if fp in self.fingerprints: return True self.fin...