scrapy调试正常，输出为空的原因。。

最新推荐文章于 2023-04-02 18:59:59 发布
最新推荐文章于 2023-04-02 18:59:59 发布
阅读量1.4k 收藏
点赞数 1
分类专栏： scrapy
蔡定交
本文链接：https://blog.csdn.net/skxx123/article/details/108308785
版权

scrapy调试正常
情况：从xx网站抓取数据，内容正常，标题我重新处理过，调试也正常
调试
执行爬虫，打印的时候为空
在这里插入图片描述
分析如下

1.源代码里是h2
在这里插入图片描述

2.xpath里写的是h2，并且调试也能正常抓取到
在这里插入图片描述

3.抓取后的数据已经从h2变成了h3

在这里插入图片描述
4.把h2改成h3，正常抓取。。
在这里插入图片描述

蔡不蔡
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
scrapy框架非命令行调试主程序run.py
09-09
vscode下的非命令行调试scrapy框架下的代码的主程序run.py
scrapy生成的json文件为空的问题解决
ljdfd的专栏
05-22 740
今日学习某平台课程，发现按照课程输入scrapy crawl qidian -o book.json，生成的book.json为空 文件，最后找到了原因，是因为在qidian.py里的parse函数末尾没写上return book 如何还是不行，是因为settings.py里没打开 ITEM_PIPELINES 打开这个基本上就没问题了，记住要取消注释三行（3,4,5行） ...
scrapy的日志logging的使用
huangwencai123的博客
04-27 1427
scrapy的日志logging的使用 1、 意义 ： 为了方便在调试。在scrapy运行中可能停不下来， 关闭就没有记录了。因此把日志保存在文本中方便看信息。 2 、使用： 1） 在settings中增加： # log config import datetime Today=datetime.datetime.now()#取得现在的时间 Log_file_path='scrapy_{}_{}_...
Scrapy中print打印不出来内容(Print无效)
细雨纷飞~~~
06-18 6517
刚开始使用Scrapy时，使用print打印内容时,cmd终端始终打印不出来内容,最后解决办法, 在settings.py中把ROBOTSTXT_OBEY设置为false ROBOTSTXT_OBEY = False
scrapy：数据无法导出的几种情况
weixin_45753080的博客
10-17 661
scrapy：数据无法导出
Python爬取网页数据，为什么返回为空？
Blog
01-12 6414
例如百度查询“天气” import urllib.request,re keywd = '天气' keywd = urllib.request.quote(keywd) #中文时需转换 url = 'http://www.baidu.com/s?wd='+keywd data = urllib.request.urlopen(url).read().decode("utf-8") pat = "title:'(.*?)'," rst = re.compile(pat).findall(data) pr
python scrapy框架 爬取网页页数多时，造成数据为空
ZF98095的博客
02-18 4351
       在写爬虫时，发现一个问题（使用的时scrapy蜘蛛爬虫），获取某一个页面的数据时，使用css选择器，没有任何问题，但是当用到连续翻页时，页面张数大于5，就会出现，response正常，返回码为200，但是返回的数据为空，我在for循环中加入了time.sleep也没有用。        百度原因，发现是因为scrapy中默认的页面请求速度与数据下载速度过快，造成服务器返回的数据为空...
pycharm下打开、执行并调试scrapy爬虫程序的方法
09-21
本篇文章主要介绍了pycharm下打开、执行并调试scrapy爬虫程序的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
scrapy框架爬虫项目-以东财为例
最新发布
06-21
Scrapy是一个强大的Python爬虫框架，它为开发者提供了一套高效、灵活的工具，用于处理网页数据抓取和数据处理任务。"scrapy框架爬虫项目-以东财为例"是一个具体的实例，旨在帮助初学者了解如何使用Scrapy构建一个...
debug_scrapy:调试scrapy核心源代码并阅读
05-17
debug_scrapy This repository is about how to debug scrapy core source code and read it . （注：此repo是从scrapy源码中抽离出来的scrapy目录，并对大多数代码做了翻译解读，仅供阅读参考，如果有不正确的地方...
解决scrapy的无输出问题
qq_56630261的博客
08-13 3444
scrapy问题解决 ** scrapy无输出问题解决 ** 昨天跟着老师敲的时候，发现自己的scrapy无输出，心想：老师运行是对的，为什么我运行就是错的，于是在网络上疯狂寻找答案，最终还是没能解决，一觉之后，突然想到以前使用xpath时的错误。突然就想着试一下。果然，解决了问题。 使用requests时的类似错误 import requests from lxml import etree headers={ 'User-Agent':"Mozilla/5.0 (Windows NT 10.0;
scrapy管道文件输出为空！
加辣椒了吗?的博客
02-07 860
scrapy管道文件输出为空！ 你们是不是遇到这种情况，在管道pipelines文件输出，但结果为空列表 其实是你settings文件的管道没开而已 把注释去了就行，刚下scrapy框架默认是没开的 这样问题就解决啦！ ...
【Python】Scrapy ItemLoader 处理空列表让数据库字段为空值
用代码书写梦想
10-20 2487
问题描述 我需要爬取某些招聘网页上的信息，但不是所有招聘网页中展示的信息都一样，例如有些网页上并没有附上公司网址，而如果没有需要在数据库相应的字段中赋值为空。 方法一：不使用itemLoader 使用extract_first()取得列表第一个元素，默认值为‘’，但这不适用列表中有多个元素，比如不止爬取一个标签 def parse_detail(self, response): a...
scrapy 使用 -o 命令输出json文件
weixin_44732765的博客
03-28 3860
json文件空白的原因可能的原因有: settings.py文件中是否启用了pipeline, ROBOTSTXT_OBEY = False, 是否修改user-agent 如果是普通的模板, 注意return item和return items,前者只能返回一个item, 最好使用yield item 如果是crawlspider,检查rules中的Rule是否有callback, callb...
xpath scrapy爬虫时候xpath值为空解决方案
weixin_47420595的博客
06-25 2468
如果代码都没问题，那就是这一个问题： xpath 的语法问题：在 chrome中能获取数据不代表在 shell 中也一定能够获取数据，所以遇到这个问题可以尝试改写语法。
scrapy 为何爬不出数据，爬出数据键值列表为空？
weixin_37600848的博客
08-26 3295
原因：源码的xpath路径 和 用爬虫代码爬取下来的 网站链接再用浏览器打开后，查看复制的xpath路径不一致 解决办法：先用scrapy爬下网页源代码，再google浏览器打开网页源码，再复制对应的xpath路径 大功告成！ ...
Scrapy: 为什么xpath和css明明是对的，但却爬不到任何内容？
热门推荐
热爱代码
02-13 1万+
有很多小伙伴入门Scrapy的时候都会有这样的疑问：明明写的xpath和css是对的（就算真自己写错，那用谷歌或火狐返回的xpath和css不会错的吧），但总是返回一个空列表。 解决办法很简单，改变自己的一个观念就好：Scrapy爬虫看到的页面结构与我们自己在浏览器看到的可能并不一样。 所以scrapy shell这种工具就非常有用了，Scrapy官方文档对它的说明是： The...
scrapy 爬取空值
Ducunyu的博客
10-03 1614
DEBUG: Redirecting (301) to <GET https://edu.csdn.net/> from <GET http://edu.csdn.net> import scrapy class S1Spider(scrapy.Spider): name = 's1' # 爬虫的名字 allowed_domains = ['blog.csdn.net'] # 如果URL地址的HOST不属于allowed_domains,则过滤掉该请求
Scrapy返回空列表问题的解决办法
m0_61151031的博客
04-02 563
今天学习Scrapy框架时，调用下面的方法发送请求时返回的居然是一个空列表。
scrapy xpath爬取数据为空
03-16
scrapy xpath爬取数据为空可能有以下几种原因： 1. 网页结构改变：如果网页结构发生了改变，原来的xpath可能已经无法匹配到需要的数据，需要重新编写xpath。 2. 爬取速度过快：如果爬取速度过快，可能会被网站识别为爬虫并进行限制，导致无法获取数据。 3. 网站反爬虫机制：有些网站会设置反爬虫机制，如验证码、IP封禁等，需要通过一些技巧来绕过。 4. 数据本身为空：有些网站的数据可能本身就是空的，需要检查是否是这个原因导致的。 需要根据具体情况进行排查和解决。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值