Scrapy保存中文字符到json文件时编码设置

已于 2022-11-09 14:26:11 修改
阅读量1k 收藏 8
点赞数 5
分类专栏： python scrapy 文章标签： scrapy
于 2020-07-07 10:14:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mao_mao37/article/details/107175148
版权

因为测试一个网站，将获取到的内容写入json文件，在使用scrapy crawl -o file.json时，对于中文，保存的是unicode编码字符，因为需要转换为utf-8中文编码

转换命令：scrapy crawl -o file.json -s FEED_EXPORT_ENCODING=UTF-8

每次写命令比较麻烦，可以在settings.py中添加配置：

FEED_EXPORT_ENCODING='UTF-8'

这样在命令行中就不需要添加编码参数

mao_mao37
关注
  • 5
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
Scrapy 导出 JSON 时中文乱码
weixin_39720495的博客
10-09 490
scrapy 导出 JSON 时中文乱码问题介绍解决方法修改后结果问题分析为什么日志中显示中文不乱码，导出时候出现乱码 问题介绍 通过 Scrapy 命令导出爬虫的结果，命令如下： scrapy crawl hotel -o hotel.json 源代码如下(hotel.py)： # -*- coding: utf-8 -*- import scrapy class HotelSpider(...
Scrapy依赖包.zip
12-31
9. **PyYAML**或**json**：用于读写YAML或JSON格式的数据，Scrapy的配置文件通常使用YAML格式，而抓取的数据可能以JSON格式存储。 10. **six**：提供Python 2和Python 3之间的兼容性，确保Scrapy可以在不同版本的...
scrapy中修改爬取数据的输出编码为utf-8
fuck487的博客
06-05 9802
本人是scrapy1.5版本在scrapy的settings.py文件中添加如下设置# 修改编码为utf-8 FEED_EXPORT_ENCODING = 'utf-8'旧的版本可能不行
Scrapy 将数据保存为标准 Json 格式文件的方法
u011746586的博客
07-08 3743
序言 在 Scrapy 中保存 json 文件有以下 3 种方式： 直接创建并写入 json 文件，将数据写入其中 使用 Scrapy.exporters 中自带的 JsonItemExporter进行导出操作 使用 Scrapy.exporters 中自带的 JsonLinesItemExporter进行导出操作 但，Scrapy 框架提供的这两个 json 导出模块，均 存在各自的问题 ： JsonItemExporter 必须先将爬虫爬取下来的 所有数据存放在内存 中，待爬虫完成后，再一次性写
Scrapy爬虫之中文乱码问题
自封的羽球大佬
08-28 9608
问题描述： I. #这是.csv格式的文件，有中文乱码现象。 [root@Uu jianshu]# cat jianshu.csv url,title,author http://www.jianshu.com/p/2a7a594816e1,彖浣犳 村?鏍? [root@Uu jianshu]# ...
你的Scrapy保存CSV数据遇到乱码问题？这里有个完美的解决方案！
懂亿点的博客
05-03 2925
Scrapy框架保存CSV数据遇到乱码问题，这里有两种解决方案，供你选择
python使用scrapy发送post请求的坑
09-20
4. 在无法直接使用`FormRequest`时，可以考虑直接使用`Request`对象并设置`method`为'POST'，并将数据添加到`headers`或`body`中，模拟POST请求。 总之，虽然Scrapy和requests库都可以用于发送POST请求，但它们在...
python爬虫基础包含scrapy框架笔记
09-06
在URL请求时，可能会遇到中文字符。Python的`urllib.parse.quote(str)`用于对中文地址进行编码，确保它们能在URL中正确表示。`quote`仅处理单个参数，而`urlencode`适合处理多参数，以字典形式编码。 POST请求不同...
Tieba_Spider:百度贴吧爬虫(基于scrapy和mysql)
05-14
但若要在控制台输入中文(非ASCII字符)，请确保控制台编码为UTF8。 若在config.json里面已经配置好贴吧名和对应数据库名，则可以忽略数据库名。若忽略贴吧名，则爬取config.json里面DEFAULT的数据库。 特别提醒 任务...
我的毕业设计爬虫，python、scrapy.zip
最新发布
01-15
7. **数据存储**：将爬取到的数据存储到文件（如CSV、JSON）、数据库（如MySQL、MongoDB）或其他格式。 8. **异常处理和错误修复**：处理可能出现的网络问题、编码问题、网站结构变化等，保证爬虫的稳定性和鲁棒性...
Scrapy之自定义Pipeline输出json文件
weixin_42428357的博客
08-24 1076
自定义Pipeline输出json文件 代码 class JsonWithEncodingPipeline(object): #自定义json文件的导出 def __init__(self): self.file = codecs.open('article.json', 'w', encoding="utf-8") def process...
Scrapy问题总结
小刘的博客
01-03 1343
使用scrapy crawl gp -o gp.csv命令保存为csv文件时输出的结果没有按照items的顺序来 解决方案： 修改setting.py 添加一行 FEED_EXPORT_FIELDS = ["code", "name", "price", "fluctuation", "change_amount", "turnover", "turnover_amount", "amplitude", "rate"] 列表内表示的是自己在items定义的字段，即要输出结果的字段顺序 ...
Scrapy框架之Feed exports输出路径及文件格式配置：
weixin_43343144的博客
02-23 1164
项目名scrapy_first/settings.py配置 文件导出的路径当前目录下的export_data文件下 FEED_URI = "export_data/%(name)s_%(time)s.json" 输出文件的格式类型(JSON、CSV、XML) FEED_FORMAT = "json" 输出文本编码格式(json默认格式不是utf-8) FEED_EXPORT_ENCODI...
scrapy相关 通过设置 FEED_EXPORT_ENCODING 解决 unicode 中文写入json文件出现`\uXXXX`
weixin_30539625的博客
10-16 1656
0.问题现象 爬取 item： 2017-10-16 18:17:33 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.huxiu.com/v2_action/article_list> {'author': u'\u5546\u4e1a\u8bc4\u8bba\u7cbe\u9009\xa9', 'c...
scrapy输出中文字符到文件
WALNUT的博客
07-06 2346
利用scrapy crawl命令执行爬虫时，数据输出到文件时会保存原始的编码，比如中文会保存为\uXXXX格式。如果想保存中文字符串，需要在添加参数：-s FEED_EXPORT_ENCODING=utf-8 scrapy crawl spridername -o items.json -s FEED_EXPORT_ENCODING=utf-8
scrapy输出的json文件中如何显示中文
Quest_sec的博客
03-27 556
scrapy用-o filename.json 输出时，会默认使用unicode编码，当内容为中文时，输出的json文件不便于查看，如下图： 可以在setting.py文件中修改默认的输出编码方式，只需要在setting.py中增加如下语句（默认似乎是没有指定的，所以要增加，如果默认有，就直接修改） FEED_EXPORT_ENCODING = ‘utf-8’ 修改后输出如下: 原文链接：ht...
Scrapy框架中设置编码格式
dayun555的博客
03-01 5808
utf-8:全球通用编码ascii:能存储字母/数字/符号,美国专用gbk|gb2312|gb18030:能够存储汉字要生成经编码后的csv类型文件cmdline.execute(['scrapy', 'crawl', '爬虫文件名称', '-o', '文件名.csv', '-s', 'FEED_EXPORT_ENCODING="gb18030"'])例如：cmdline.execute(['sc...
scrapy 抓取的中文结果乱码，请问如何解决？
技术驱动数字营销
07-27 5507
这个官网给出解释以及解决办法了： 在setting文件中设置：FEED_EXPORT_ENCODING = ‘utf-8’ 就可以啦或者使用： 首先Unicode不是乱码，如果把这些数据保存下来，或者直接显示使用是没有问题的。 另外，如果你需要在scrapy shell中调试hxs的时候，你可以自定义一个printhxs(hxs)这样的函数用来在shell中显示中文。def printhxs
Python Scrapy爬虫中文乱码问题“鎴愬姛”及用chardet解决乱码问题
liu_xzhen的博客
02-25 3687
在爬取某个网站时，爬取第一个页面能正常获取，爬取第二个页面，获取文章内容时，返回的数据为中文乱码，乱码如下: {"rptCode":200,"msg":"鎴愬姛","data":{"docId":989402,"docTitle":"閾惰淇濋櫓鏈烘瀯鎭㈠鍜屽缃鍒掑疄鏂芥殏琛屽姙娉�"} 尝试解决： 查找办法让在setting.py文件中添加设置编码格式的代码： FEED_EXPORT_ENCODING = 'utf-8' 添加后依旧不可以。 使用其他的格式编码： repons
scrapy框架爬取数据保存为json文件
05-27
好的，使用 Scrapy 框架爬取数据并将数据保存为 JSON 文件可以按照以下步骤进行： 1. 创建一个新的 Scrapy 项目，可以使用以下命令： ``` scrapy startproject project_name ``` 2. 在项目中创建一个新的 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值