Scrapy与分布式开发：scrapy实现按脚本name与日期生成日志文件

原生scrapy日志机制

一般情况下，我们可以直接在setting文件中定义日志文件，这种会把所有脚本的日志都写在同一个文件

LOG_LEVEL = 'INFO'  # 日志级别
LOG_STDOUT = True  # 日志标准输出
LOG_FILE = r'D:\python\crawler\logs\1163.log'  # 日志文件路径

现在为了更好的排查和统计，需要按脚本name与日期生成日志文件，就需要更改LOG_FILE的写入格式和方式

实现流程

1. 直接setting中定义
   我看过有些教程是这样子实现的，但是我们没法拿到脚本的name

LOG_FILE = '{}_{}.log'.format(spider.name, datetime.now().strftime("%Y-%m-%d"))

2. 在脚本内的custom_settings中定义
   如下面所示，在初始化时，scrapy会把custom_settings更新到全局的settings中，这种方式是可以实现我们需要的效果，但是要在每个脚本中都声明有点麻烦，我们希望能在初始化时就自动设置上
   
3. 优化原生方法update_settings
   既然custom_settings会在初始化时被更新到全局的settings中，而且时更新完后，settings配置才生效，那我们只要重写基类实现custom_settings更新到settings的方法即可
   
   如上图所示，在Spider基类中，update_settings实现custom_settings更新到settings，所以只要在基本Spider的类中实现即可，按下图所示操作即可实现了。
   

注意事项

为什么当我们配置了LOG_FILE之后，日志无法在控制台输出呢？
这其实是源码中处理好的，当我们配置了LOG_FILE后，它就只会走写文件这一步走了，默认情况下就是控制台输出，因为LOG_ENABLED默认为True

当然，一般情况下，正式环境也不需要控制台日志，文件存储即可。当然，如果真要实现文件与控制台一起输出，可以重写_get_handler方法，也可以在初始化时给logger对象添加一个控制台输出对象。