scrapy爬虫的一些小问题

1、在进行多级页面递进爬取时，可以在settings.py中设置DEPTH_LIMIT = 100，后边的数值是可允许的请求深度，0为不受限制。

2、在使用scrapy进行延时下载时，可以在settings.py中设置DOWNLOAD_DELAY = 2，后边的数值是延时时间。