学习过scrapy的人都知道,我们一般会在settings中加上一行代码:
LOG_LEVEL = 'WARNING'
# 或者是:
LOG_LEVEL = 'ERROR'
用来表示我们当前爬虫只会输出大于或等于我们当前这个等级的日志。
logging模块的使用:(可以通过日志来判断warning或error来自哪个py文件)
同样,我们在pipeline中也可以使用logging模块:
我们还可以在settings中指定日志保存的位置,通过代码:
LOG_FILE = './LOG.log'
总结一下:
最后我们在普通的项目中也可以使用logging模块,在这里就不细讲了。