Scrapy中如何控制现实的日志等级

最新推荐文章于 2024-04-27 12:58:57 发布
最新推荐文章于 2024-04-27 12:58:57 发布
阅读量931 收藏 2
点赞数 2
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34428669/article/details/104932822
版权

如何进行控制爬虫爬取后的输出日志信息

在我们cmd终端爬取数据时，可能我们爬取出来的数据有大量的调试（Debug）信息，这时我们如何清理这些无用的信息，让我们爬取的数据简洁明了就成了问题

1.创建爬虫（这里不做多余讲解）
创建完爬虫会有这些.py文件

2.了解scrapy给予提供的五种LOG级别

CRITICAL - 严重错误(critical)

ERROR - 一般错误(regular errors)

WARNING - 警告信息(warning messages)

INFO - 一般信息(informational messages)

DEBUG - 调试信息(debugging messages)

3.当我们没有设置的时候爬取会有这些信息
日志信息
这就是我们所说的调试信息
4.除去这些信息的步骤：

先找到setting.py
在这里插入图片描述
然后双击打开添加如下信息：

LOG_LEVEL = "WARNING"

在这里插入图片描述
log分为五个等级，这个语句就是小于warning等级的日志不再显示，再运行就会得到我们想要爬取的去除调试日志的数据

^ V ^ 希望可以帮助你
好好学习呦~

风华满城烟
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
scrapy日志信息等级
CP1024的博客
07-29 522
基础配置scrapy中的日志信息 在settings.py文件中： 日志信息等级有： CRITICAL:严重错误 ERROR:一般错误 WARRING:警告 INFO:一般的信息 DEBUG:调试信息(默认) 设置错误显示级别: LOG_LEVEL='ERROR' # 只有程序有错误才会在屏幕或者文件里面显示 # 将日志信息写到文件中，不会在屏幕中显示 LOG_FILE = 'LOG.txt' ...
Scrapy框架之日志等级
weixin_30814329的博客
04-04 2051
一、日志等级 CRITICAL：严重错误 ERROR：一般错误 WARNING：警告 INFO: 一般信息 DEBUG：调试信息 【注意：默认的日志等级是DEBUG】 二、日志等级设置 　修改settings.py文件 LOG_LEVEL = 'DEBUG' 设置日志显示的等级为DEBUG LOG_FILE = 'log.txt' 将...
【Python从入门到进阶】53、Scrapy日志信息及日志级别
最新发布
程序猿之洞
04-27 935
在Scrapy框架中，日志扮演着至关重要的角色。日志不仅记录了爬虫在运行过程中的详细行为，还提供了大量有助于开发者定位问题和优化程序的信息。通过日志，开发者可以了解到爬虫的每一步操作，包括请求的发送、响应的接收、数据的解析以及任何可能出现的异常。这些信息对于调试程序、监控运行状态以及优化性能都是不可或缺的。
Python爬虫——scrapy_日志信息以及日志级别
错过人间飞鸿的博客
08-20 691
scrapy_日志信息以及日志级别
04scrapy框架的日志等级和请求传参
09-16 171
一.scrapy的日志等级 　　-在使用scrapy crawl spiderFileName运行程序时,在终端打印输出的就是scrapy的日志信息. 　　-日志信息的种类: 　　　　ERROR:一般错误 　　　　WARNING:警告 　　　　INFO:一般的信息 　　　　DEBUG: 调试信息 　　-在设置日志信息指定输出: 　　在settings.py配置文件中,加入...
python log日志系列之scrapy
suelai的博客
03-06 1227
log 信息级别从低到高依次是：notset、debug、info、warn、error、critical，日志只会显示比设置的日志等级高的级别，等级低的不会显示。scrapy中：    默认终端显示的是debug级别的log信息    在setting里面设置     LOG_LEVEL = WARN #log日志的级别    LOG_FILE = "./..."  # log日志的存储位置在s...
Python爬虫 scrapy -- scrapy 日志信息和日志等级、scrapy shell的使用、scrapy post请求
天行健 君子以自强不息，地势坤 君子以厚德载物。
03-07 3533
Python爬虫 scrapy -- scrapy 日志信息和日志等级、scrapy shell的使用、scrapy post请求
scrapy1.5中文文档
03-23
scrapy1.5中文文档，自己翻译，github账号：https://github.com/v5yangzai/scrapy1.5-chinese-document
scrapy 中文教程 文字版 最新
01-19
scrapy 中文教程 最新版 0.25版的， epub格式
如何在scrapy中捕获并处理各种异常
01-19
 使用scrapy进行大型爬取任务的时候（爬取耗时以天为单位），无论主机网速多好，爬完之后总会发现scrapy日志中“item_scraped_count”不等于预先的种子数量，总有一部分种子爬取失败，失败的类型可能有如下图两种...
如何在django中运行scrapy框架
09-17
在Django中运行Scrapy框架是一项实用的技术，它允许开发者结合两个强大的Python工具，以便在一个统一的环境中进行数据抓取和Web应用开发。下面将详细解释如何实现这一目标。 首先，你需要创建一个新的Django项目。...
python网络爬虫 Scrapy中selenium用法详解
12-26
在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url...
记忆碎片之scrapy中使用logging模快
Python_DJ的博客
02-27 257
在 scrapy中使用logging # settings.py LOG_LEVEL="WARNING" # 设置日志显示的等级 LOG_FILE="./a.log" # 设置日志保存的位置，设置后界面不会显示日志内容 # spider.py import logging import logging """ logging.basicConfig函数各参数: filename: 指定...
七、Logging
Norni的博客
05-12 97
Scrapy提供了log功能，可以通过logging模块使用 1、在settings.py配置Logging 　　``` 　　# 添加如下代码 　　LOG_FILE = "xxxSpider.log" 　　LOG_LEVEL="INFO" 　　``` 　　(1)`LOG_ENABLED`：默认：True，启用logging 　　(2)`LOG_ENCODING`：默认："utf-8"，loggi...
loglevel python 不输出_python的logging模块设置setLevel为warning后依然打印requests的日志...
weixin_34285757的博客
01-14 865
问题描述使用python的logging模块，会打印requests的日志，现在已经设置了reqyests的日志级别为warning，在macos中生效了，但是服务器centos上依然会打印网络请求的信息。问题出现的环境背景及自己尝试过哪些方法python3相关代码// 请把代码文本粘贴到下方(请勿用图片代替代码)import loggingimport datetimeimport osfrom...
scrapy log日志重定向，设置全局日志等级
jerry3747的博客
09-25 1224
问题描述： 今天接到运维同事反馈，有个scrapy项目产生了大量日志，占用了100多g内存。查看日志文件发现全是第三方模块的debug信息，而这个第三方模块是直接用的logging。 解决思路： 既然直接使用的logging，那我只要在scrapy 项目里面设置日志等级就可以了，经过各种尝试发现还是有debug日志，而且还有scrapy框架的debug信息，那估计就是因为这个导致后面的所有日志等级设置都无效。那既然找到问题源头，就想办法把scrapy框架的默认debug日志等级给改了，直接在setting文
nginx php 虚拟主机配置,nginx + php-fpm 实现不同的虚拟主机使用不同的phpadminvalue配置...
weixin_42339883的博客
03-10 210
Apache下，每个虚拟主机可以单独不同的phpadminvalue，可以设置非常详细的网站目录权限设置，安全性比较高。nginx做为一个高性能的web服务器已经得到广泛的应用，随着php5.3的发布，php-fpm也已经内置在php里面了，如何安装配置nginx+php-fpm，下面的内容，将集中于给nginx的虚拟主机和php-fpm的pools配合，实现不同虚拟主机运行不同配置的php。我们...
scrapy日志信息和日志等级
m0_74098051的博客
12-28 600
CRITICAL：严重错误ERROR： 一般错误WARNING： 警告INFO: 一般信息DEBUG： 调试信息默认的日志等级是DEBUG 只要出现了DEBUG或者DEBUG以上等级的日志 那么这些日志将会打印。
scrapy自定义日志
一起学习哈
11-23 440
这个自定义日志记录器创建了一个名为“scrapy”的日志记录器，并将日志输出到文件和控制台。还实现了info（），debug（），warning（），error（）和critical（）方法，以便您可以使用自己的日志记录器记录不同级别的日志信息。这个例子只是展示了如何保留Scrapy日志文件，并在出现错误时将错误信息上传到数据库中，如果需要上传报错信息到数据库，您需要根据自己的需求进行相应修改。这些设置将指定Scrapy日志的级别，文件路径和是否启用日志。希望这个例子对您有所帮助！
scrapy 中parse 参数
07-28
在 Scrapy 中，`parse` 是一个默认的回调函数，用于处理从起始请求返回的响应。当 Scrapy 发出请求并接收到响应时，它会自动调用 `parse` 方法来处理响应数据。 `parse` 方法通常用于解析响应，提取数据，并根据需要进行进一步的处理。在 `parse` 方法中，您可以使用 Scrapy 的选择器（Selector）来提取需要的数据。选择器是一种类似于 XPath 的语法，用于从 HTML 或 XML 中提取数据。 下面是一个示例代码，展示了如何在 Scrapy 中使用 `parse` 方法： ```python import scrapy class MySpider(scrapy.Spider): name = 'my_spider' start_urls = ['http://example.com'] def parse(self, response): # 使用选择器提取数据 title = response.css('h1::text').get() yield {'title': title} ``` 在上面的示例中，`MySpider` 类定义了一个名为 `parse` 的方法来处理响应。在 `parse` 方法中，我们使用了 Scrapy 的选择器 `response.css('h1::text').get()` 来提取 `<h1>` 标签中的文本内容，并将其作为字典返回。 请注意，您可以在 `parse` 方法中使用 `yield` 关键字来返回提取的数据。这将使 Scrapy 将提取的数据传递给后续的处理管道进行处理。 希望这个简单的例子能帮助您理解在 Scrapy 中使用 `parse` 方法的基本原理和用法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值