scrapy深入认识程序的debug信息

常见的debug信息

  • [scrapy.utils.log] INFO: Overridden settings: 自己设置的settings信息
  • [scrapy.middleware] INFO: Enable extensions :启动的扩展插件
  • [scrapy.middleware] INFO: Enable downloader middlewares: 启动的下载中间件
  • [scrapy.middleware] INFO: Enable spider middlewares: 启动的爬虫中间件
  • [scrapy.middleware] INFO: Enable item pipeline: 启动的管道
  • [scrapy.extensions.talent] DEBUG: 爬虫运行时能够使用talent命令对爬虫的一些控制,比如暂停等
  • [scrapy.statscollectors] INFO: Dumping Scrapy status 爬虫结束时的一些统计信息,比如请求响应数量等
  • [scrapy.core.scraper] DEBUG: Scrapy from <200 http://wz.sun0769.con/html/question/201707/340346.shtml>{‘content’:…}: 每次yield item的时候提示item的内容及这个item的url地址
已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 终极编程指南 设计师:CSDN官方博客 返回首页