Scrapy 中 log 功能

Scrapy提供了log功能，可以通过 logging 模块使用

可以在settings 中添加使用

LOG_FILE = "mySpider.log"
LOG_LEVEL = "INFO"

LOG_FILE  储存log文件路径 

LOG_LEVEL  日志等级

Scrapy提供5层logging级别:

• CRITICAL - 严重错误(critical)
• ERROR - 一般错误(regular errors)
• WARNING - 警告信息(warning messages)
• INFO - 一般信息(informational messages)
• DEBUG - 调试信息(debugging messages)

logging设置

通过在setting.py中进行以下设置可以被用来配置logging:

1. LOG_ENABLED 默认: True，启用logging
2. LOG_ENCODING 默认: 'utf-8'，logging使用的编码
3. LOG_FILE 默认: None，在当前目录里创建logging输出文件的文件名
4. LOG_LEVEL 默认: 'DEBUG'，log的最低级别
5. LOG_STDOUT 默认: False 如果为 True，进程所有的标准输出(及错误)将会被重定向到log中。例如，执行 print "xxxxx" ，其将会在Scrapy log中显示

如何使用scrap中的日志功能

from scrapy import log
log.msg("This is a warning", level=log.WARING)

 

scrapy.log.start(logfile=None, loglevel=None, logstdout=None)

启动log功能。该方法必须在记录任何信息之前被调用。否则调用前的信息将会丢失 

参数：

• logfile(str) - 用于保存log输出的文件路径。如果被忽略，LOG_FILE设置会被启用。如果两个参数都是None(默认值)，log会被输出到标准错误流(stderr)，一般都直接打印在终端命令行中。
• loglevel - 记录的最低日志级别，可用的值在上面提到了
• logstdout(boolean) - 如果设置为True，所有的应用的标准输出(包括标准错误)都将记录，例如，如果程序段中有 "print hello"，那么执行到这里时，"hello"也会被记录到日志中。

 

scrapy.log.msg(message,level=INFO,spider=None)

参数：

• message(str) - log信息
• level - 该信息对应的级别
• spider(spider 对象) - 记录信息的spider。当记录的信息和特定的spider有关联时，该参数必须使用