scrapy生成的json文件为空的问题解决

最新推荐文章于 2024-03-21 22:43:12 发布
最新推荐文章于 2024-03-21 22:43:12 发布
阅读量807 收藏 1
点赞数
分类专栏： python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ljdfd/article/details/124918091
版权
博主分享了在使用Scrapy爬取Qidian网站书籍时遇到的问题，关键在于`parse`函数缺少`return book`，并指出settings.py中`ITEM_PIPELINES`的启用至关重要。正确配置后，爬取通常会正常工作。
摘要由CSDN通过智能技术生成

今日学习某平台课程，发现按照课程输入scrapy crawl qidian -o book.json，生成的book.json为空

文件，最后找到了原因，是因为在qidian.py里的parse函数末尾没写上return book

如何还是不行，是因为settings.py里没打开

ITEM_PIPELINES

打开这个基本上就没问题了，记住要取消注释三行（3,4,5行）

前进中的飞鸟
关注
专栏目录
Scrapy爬虫框架 Feed exports 数据文件输出
Mr数据杨
02-01 3万+
在本教程中我们详细探讨了 Scrapy 2.6 版本中 Feed exports 数据文件输出的各个关键环节。通过这些内容，你已经了解了如何灵活地选择和配置不同的序列化格式、存储方式，以及如何通过数据过滤和提交处理来确保数据的质量和可用性。掌握这些技能后，你将能够根据具体的项目需求，自如地调整和优化数据输出流程，确保数据的完整性、准确性和实用性。无论是简单的本地存储，还是复杂的云端解决方案，Scrapy 都为你提供了足够的工具和灵活性，让你在数据抓取项目中游刃有余。
JSON 解码出现空白的解决方法
TechNovaX的博客
10-04 871
解决 JSON 解码出现空白的问题需要仔细检查 JSON 数据的格式、编码以及处理缺失字段等方面。通过验证 JSON 数据的格式、处理编码问题和缺失字段，我们可以更好地解决 JSON 解码过程中可能遇到的空白问题。在进行 JSON 解码时，有时候可能会遇到空白的情况，即无法正确解析 JSON 数据。在本文中，我们将探讨一些常见的解决方法，以便解决 JSON 解码出现空白的问题。在上述示例中，如果 JSON 数据中的 ‘city’ 字段不存在，我们将使用默认值 ‘Unknown’ 来处理缺失字段。
python爬虫之Scrapy框架--保存图片（详解）
m0_67093160的博客
06-27 3140
Scrapy中使用ImagePipeline 保存图片
scrapy 为何爬不出数据，爬出数据键值列表为空？
weixin_37600848的博客
08-26 3359
原因：源码的xpath路径 和 用爬虫代码爬取下来的 网站链接再用浏览器打开后，查看复制的xpath路径不一致 解决办法：先用scrapy爬下网页源代码，再google浏览器打开网页源码，再复制对应的xpath路径 大功告成！ ...
新伙伴求助，爬虫运行代码成功，但是json数据为空，谢谢
tricuspid的博客
10-11 1486
内容为代码
Scrapy可以成功爬取数据，但存储数据的json文件为空（巨坑！！！）
AshleyXM的博客
03-11 5807
这两天初学Scrapy用来爬虫网页上的数据，写了一个爬虫发现我可以成功地爬到数据，但是存储为json数据或者json lines数据时一直为空文件，也不知道怎么回事，各种搜索资料，有的说是没配置好pipelines文件，有的说是没配置好settings文件，检查我的这两个文件，感觉不像是这两个文件的问题，才发现了一个巨坑的问题（由于yield关键字之前只是见过但没使用过所以也是这两天才学习的，可能...
scrapy用pipelines输出中文到json文件，能取到数据，但是json文件中是空的
slhlde的博客
08-13 1592
items.py pipelines.py settings.py 下面是取到的数据和json文件 拜托各位大神帮忙看一下，谢谢！ 问题我找到了，在第一张图片def parse()方法最后加上yield item 就能写入了。...
scrapy调试正常，输出为空的原因。。
蔡定交
08-30 1470
scrapy调试正常 执行爬虫，打印的时候为空 这是为什么呢，，， 1.源代码里是h2 2.xpath里也是h2，并且调试也能正常抓取到，为啥执行为空。。 3.细心的朋友已经发现了吧，抓取后的数据已经从h2变成了h3.。。。。。。。 4.把h2改成h3，正常抓取。。 第一次遇到这种情况，记录一下。。 ...
python scrapy框架 爬取网页页数多时，造成数据为空
ZF98095的博客
02-18 4418
       在写爬虫时，发现一个问题（使用的时scrapy蜘蛛爬虫），获取某一个页面的数据时，使用css选择器，没有任何问题，但是当用到连续翻页时，页面张数大于5，就会出现，response正常，返回码为200，但是返回的数据为空，我在for循环中加入了time.sleep也没有用。        百度原因，发现是因为scrapy中默认的页面请求速度与数据下载速度过快，造成服务器返回的数据为空...
Python 爬虫：scrapy 没有crawl 命令
Leon_Kbl的博客
07-13 8797
scrapy 爬虫框架启用命令注意事项 1.cd 到你指定的文件夹下； 2.scrapy startproject Spider(项目名字：自定义)； 3.cd Spider（cd到你创建的项目下); 4.scrapy genspider example(爬虫.py的名字) example.com9(你要访问的域名，不要写http/https协议)； 5.scrapy crawl example(...
Scrapy 导出 JSON 时中文乱码
weixin_39720495的博客
10-09 642
scrapy 导出 JSON 时中文乱码问题介绍解决方法修改后结果问题分析为什么日志中显示中文不乱码，导出时候出现乱码 问题介绍 通过 Scrapy 命令导出爬虫的结果，命令如下： scrapy crawl hotel -o hotel.json 源代码如下(hotel.py)： # -*- coding: utf-8 -*- import scrapy class HotelSpider(...
python处理scrapy抓取生成的json数据遇到的问题
Eugene的专栏
12-03 1939
python处理json数据时,使用json.loads()函数就能将json字符串转化为python数据对象. 刚刚我在处理由scrapy生成的json文件时,发现直接处理从文件读取出来的数据,会出现错误: raise ValueError(errmsg("Extra data", s, end, len(s))) 后来把文件的每行后面的换行符去掉,重新组成的字符串再用json.load(
基于scrapy框架存储爬虫数据的四种方法（自定义json文件、json export方法、同步存储数据库、异步存储数据库）
AlexGeek
12-28 1254
最近在学习scrapy爬虫框架，感受到了它的强大之处，在接触各种数据存储方法后，希望进行一个简单的总结。总的来说，爬虫常用的数据存储方法，无非就是保存在本地的json格式化文件或者是数据库中，但在学习的过程中，了解了每种场景中不一样的用法，分别是：自定义json文件、json export方法、同步存储数据库、异步存储数据库四种方法。下面就结合代码简要进行一个介绍。 说到数据的存储，了解sc...
scrapy管道文件输出为空！
加辣椒了吗?的博客
02-07 931
scrapy管道文件输出为空！ 你们是不是遇到这种情况，在管道pipelines文件输出，但结果为空列表 其实是你settings文件的管道没开而已 把注释去了就行，刚下scrapy框架默认是没开的 这样问题就解决啦！ ...
python爬取json格式的文件内容为空
qq_42099772的博客
02-17 4861
python爬取json格式的文件内容为空 有时候爬取json数据的文件所有的都没有错，可内容就是显示不出来，那么这时候你尝试设置请求头试试数据就会显示出来了，有的网站不设置请求头，但是有的网站会限制，识别出来你就不会让你爬取了，设置请求头是一种反爬机制 hader={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/...
解决scrapy 生成csv文件空行问题
weixin_38336920的博客
10-15 1712
author:he qq:760863706 python:3.5.2 scrapy:1.5.1 date:2018-10-15 用scrapy爬取到的数据生成csv文件时，默认情况下发现生成的文件会多出空行,现想解决空行问题 解决办法 结合自己电脑安装实际情况打开源文件，例如本机：C:\Python35\Lib\site-packages\scrapy\exporters.py 。找到类：...
爬虫运行成功但没数据_Python爬虫框架Scrapy快速入门指南。
weixin_39919165的博客
11-25 3746
源码：https://github.com/Paradoxical-whimsy/scrapy_test（推荐使用浏览器打开）下载教程：GitHub下载指南我：小哥哥，我前几天给朋友做的那个爬职位的爬虫感觉好慢鸭。他说找20页的数据要花4分钟，有没有快一点的方法鸭？惨绿青年：有一个叫scrapy的框架，可以充分利用电脑和网络的资源来爬取数据。我：啥是框架鸭？惨绿青年：框架就是人家已经定义好流程的结...
scrapy爬取到的数据为空
最新发布
qq_52772669的博客
03-21 508
网上说是【allowed_domains】需要补全，所以尝试了把【start_urls】的内容复制给了【allowed_domains】，最终尝试了发现是头信息里的cookie没有设置，scrapy默认用了它内部设置的头信息。使用scrapy爬取58同城的数据，发现xpath路径正确，第一次运行确实可以输出数据，但是第二次运行后却返回了一个空列表，代码如下。3.设置headers,添加cookie,以及UA，如果有referer的话也添加进去。又因为第一次运行时能够输出内容，因此排除了xpath路径问题。
Scrapy: 为什么xpath和css明明是对的，但却爬不到任何内容？
热门推荐
热爱代码
02-13 1万+
有很多小伙伴入门Scrapy的时候都会有这样的疑问：明明写的xpath和css是对的（就算真自己写错，那用谷歌或火狐返回的xpath和css不会错的吧），但总是返回一个空列表。 解决办法很简单，改变自己的一个观念就好：Scrapy爬虫看到的页面结构与我们自己在浏览器看到的可能并不一样。 所以scrapy shell这种工具就非常有用了，Scrapy官方文档对它的说明是： The...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值