定义Settings
Settings提供了key-value映射的全局命名空间,代码中可以获取配置的值。settings.py是scrapy项目的标准配置文件,也可通过命令行选项,spider类中等方式定义。
ROBOTSTXT_OBEY = False
- 1
是否遵循robots.txt协议
COOKIES_ENABLED = False
- 1
防止了网站使用cookies识别爬虫
ITEM_PIPELINES = {
'FinancialSpider.pipelines.FinancialspiderPipeline': 300,
}
- 12
激活自定义的Pipeline组件
DOWNLOAD_TIMEOUT = 15
- 1
减少下载超时时间,以便越过太慢的连接请求,快速进行下一网页的抓取
DUPEFILTER_CLASS = 'scrapy.dupefilters.RFPDupeFilter'
- 1
默认的重复请求检测过滤,可自己实现RFPDupeFilter的子类,覆写其request_fingerprint方法。
DEPTH_PRIORITY = 1
SCHEDULER_DISK_QUEUE = 'scrapy.squeues.PickleFifoDiskQueue'
SCHEDULER_MEMORY_QUEUE = 'scrapy.squeues.FifoMemoryQueue'
- 12
scrapy默认使用LIFO队列存储请求,即以深度优先方式进行抓取。通过以上设置,以广度优先方式进行抓取。