深入了解scrapy
问题一:scrapy是一深度优先还是广度优先进行爬取的呢
默认的情况下,scrapy使用LIFO队列来存储等待的请求,简单的说scrapy是以深度进行爬取的。深度优先对大多数的情况下更方便。如果您想要以广度优先的情况进行爬取的话,您可以设置一下内容
DEPTH_PRIORITY = 1 SCHEDULER_DISK_QUEUE = 'scrapy.squeue.PickleFifoDiskQueue' SCHEDULER_MEMORY_QUEUE = 'scrapy.squeue.FifoMemoryQueue'