如何进行控制爬虫爬取后的输出日志信息
在我们cmd终端爬取数据时,可能我们爬取出来的数据有大量的调试(Debug)信息,这时我们如何清理这些无用的信息,让我们爬取的数据简洁明了就成了问题
1.创建爬虫(这里不做多余讲解)
创建完爬虫会有这些.py文件
2.了解scrapy给予提供的五种LOG级别
CRITICAL - 严重错误(critical)
ERROR - 一般错误(regular errors)
WARNING - 警告信息(warning messages)
INFO - 一般信息(informational messages)
DEBUG - 调试信息(debugging messages)
3.当我们没有设置的时候爬取会有这些信息
这就是我们所说的调试信息
4.除去这些信息的步骤:
先找到setting.py
然后双击打开添加如下信息:
LOG_LEVEL = "WARNING"
log分为五个等级,这个语句就是小于warning等级的日志不再显示,再运行就会得到我们想要爬取的去除调试日志的数据
^ V ^ 希望可以帮助你
好好学习呦~