scrapy深入认识程序的debug信息

常见的debug信息

• [scrapy.utils.log] INFO: Overridden settings: 自己设置的settings信息
• [scrapy.middleware] INFO: Enable extensions :启动的扩展插件
• [scrapy.middleware] INFO: Enable downloader middlewares: 启动的下载中间件
• [scrapy.middleware] INFO: Enable spider middlewares: 启动的爬虫中间件
• [scrapy.middleware] INFO: Enable item pipeline: 启动的管道
• [scrapy.extensions.talent] DEBUG: 爬虫运行时能够使用talent命令对爬虫的一些控制，比如暂停等
• [scrapy.statscollectors] INFO: Dumping Scrapy status 爬虫结束时的一些统计信息，比如请求响应数量等
• [scrapy.core.scraper] DEBUG: Scrapy from <200 http://wz.sun0769.con/html/question/201707/340346.shtml>{‘content’:…}: 每次yield item的时候提示item的内容及这个item的url地址