scrapy屏幕log日志输出保存到txt文本中

在使用scrapy框架的时候,因为scrapy在屏幕上面输出的日志一直在跑,有些错误又抓不到,无奈只能先把log日志放在文件中,慢慢进行错误日志的分析。

如图所示:

scrapy日志保存到文本

我们需要设置的地方只在settings.py文件夹中进行设置就可以了。


LOG_LEVEL = 'DEBUG'
to_day = datetime.datetime.now()
log_file_path = 'log/scrapy_{}_{}_{}.log'.format(to_day.year, to_day.month, to_day.day)
LOG_FILE = log_file_path

这里我设置scrapy log日志为DEBUG级别,也就是屏幕上输出的级别,最低的级别,如果你想让你自己所打印的log出现在log文件中,你可以在spider里面这样用


导包

使用logging进行打印

这样我们就会在txt文本中看到这个日志了。

--------------------------------------- 下面是个人信息 ------------------------------------------------

个人微信:hll643435675(备注:博客)

更多资源请访问:

https://blog.csdn.net/xudailong_blog/article/details/78762262

慕课视频教程:https://blog.csdn.net/xudailong_blog/article/details/82909611

https://xudailong.cc/2018/09/30/muke-courses/

更多资源请关注公众号(蛇崽网盘教程资源 ):

微信公众号:蛇崽网盘教程资源

--------------------------------------- 上面是个人信息 ------------------------------------------------

  • 2
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Scrapy ,可以通过使用内置的 logging 模块来输出 log 到控制台。Scrapy 提供了多个级别的 log,包括 DEBUG、INFO、WARNING 和 ERROR,你可以根据需要选择合适的级别。 以下是在 Spider 输出 log 的示例代码: ```python import scrapy import logging class MySpider(scrapy.Spider): name = 'my_spider' start_urls = ['http://example.com'] def parse(self, response): # 输出 DEBUG 级别的 log logging.debug('This is a debug message') # 输出 INFO 级别的 log logging.info('This is an info message') # 输出 WARNING 级别的 log logging.warning('This is a warning message') # 输出 ERROR 级别的 log logging.error('This is an error message') ``` 在这个示例,我们使用了 logging 模块的四个级别来输出 log。如果你在 Spider 使用 log,那么你需要在 Spider 的类定义添加一个 logger 对象,并设置它的名称。这个名称通常是 Spider 的名称,例如上面的代码的 `name = 'my_spider'`。 Scrapy 还提供了一个方便的快捷方法来输出 log,就是使用 Spider 的 `log` 方法。这个方法和 logging 模块的方法类似,只是它会自动添加 Spider 的名称作为 logger 的名称,而不需要你手动指定。例如: ```python import scrapy class MySpider(scrapy.Spider): name = 'my_spider' start_urls = ['http://example.com'] def parse(self, response): # 输出 INFO 级别的 log self.log('This is an info message', level=scrapy.logging.INFO) ``` 这个示例,我们使用了 Spider 的 `log` 方法来输出 INFO 级别的 log。注意,我们需要指定 `level` 参数来指定 log 的级别。默认情况下,`log` 方法会使用 DEBUG 级别。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值