Scrapy保存中文字符到json文件时编码设置

最新推荐文章于 2022-11-07 20:42:54 发布
最新推荐文章于 2022-11-07 20:42:54 发布
阅读量1.9k 收藏 4
点赞数 3
分类专栏： python 文章标签： scrapy 编码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Scofield971031/article/details/88708879
版权

最近在根据(http://www.runoob.com/w3cnote/scrapy-detail.html)学习Scrapy时，遇到一个问题：使用scrapy crawl执行爬虫程序并导入一个json文件，此时可以看到，命令行窗口显示的保存内容是中文，但在打开导出的json文件时，其内容却显示为以\u开头的Unicode编码：
命令行json文件

之后查询相关资料后，发现有两个解决方法：

  1. 执行爬虫命令时，加上-s FEED_EXPORT_ENCODING=UTF-8参数
    命令

  2. 在settings.py文件中加入FEED_EXPORT_ENCODING='UTF-8'，这样在命令行中就不需要加这个参数了，我是采用的这个方法比较简便
    settings.py
    此时再在命令行中运行>scrapy crawl itcast -o teachers.json，打开json文件，内容如下：
    在这里插入图片描述

斯科菲尔德666
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Scrapy存储json
Aunean's Blog
09-18 502
Scrapy存储json 1.使用终端指令行方式 指令：scrapy crawl xxx -o filePath.文件类型 -s FEED_EXPORT_ENCODING=utf-8 -s FEED_EXPORT_ENCODING=utf-8 解决中文乱码 注意：持久化存储对应的文本文件类型只可以为 ‘json’, ‘jsonlines’, ‘jl’, ‘csv’, ‘xml’, ‘marshal’, ‘pickle’ 类型 2.直接创建并写入 json 文件 import os import cod
Scrapy依赖包.zip
12-31
9. **PyYAML**或**json**：用于读写YAML或JSON格式的数据，Scrapy的配置文件通常使用YAML格式，而抓取的数据可能以JSON格式存储。 10. **six**：提供Python 2和Python 3之间的兼容性，确保Scrapy可以在不同版本的...
设置json编码
qq_41995845的博客
04-21 479
response.setContentType("text/html;charset=UTF-8"); /** * Created by wq on 2017/6/20. */ public class PrintWriterUtil { public static void print(String ret,HttpServletResponse response){ PrintWriter printWriter=null; try {
scrapy 编码问题.
weixin_44858471的博客
10-20 827
scrapy编码问题. 使用scrapy进行网站爬取,有时候中文字符会变成unicode字符串,类似 "\u70df\u53f0\u7ea2\u5bcc\u58eb80mm\u4ee5\u4e0a" 解决方法 如果用最新版scrapy(version>=1.2)在运行爬虫的时候加上参数-s FEED_EXPORT_ENCODING=utf-8,即最终命令是: scrapy crawl your_spider -o result.json -s FEED_EXPORT_ENCODING..
Scrapy 获取数据保存为json文件
搬砖小能手
11-07 1736
Scrapy 获取数据保存为json文件
scrapy编码问题
Tony_maya的博客
03-02 253
UnicodeEncodeError: 'ascii’编解码器无法对位置15-18的字符进行编码:序号不在范围内(128) print(‘小分类信息：{}’.format(s_category_info)这句出错 解决方法：print(‘小分类信息：{}’.format(s_category_info.encode(“utf-8”))) ...
python使用scrapy发送post请求的坑
09-20
4. 在无法直接使用`FormRequest`时，可以考虑直接使用`Request`对象并设置`method`为'POST'，并将数据添加到`headers`或`body`中，模拟POST请求。 总之，虽然Scrapy和requests库都可以用于发送POST请求，但它们在...
python爬虫基础包含scrapy框架笔记
09-06
在URL请求时，可能会遇到中文字符。Python的`urllib.parse.quote(str)`用于对中文地址进行编码，确保它们能在URL中正确表示。`quote`仅处理单个参数，而`urlencode`适合处理多参数，以字典形式编码。 POST请求不同...
Tieba_Spider:百度贴吧爬虫(基于scrapy和mysql)
05-14
但若要在控制台输入中文(非ASCII字符)，请确保控制台编码为UTF8。 若在config.json里面已经配置好贴吧名和对应数据库名，则可以忽略数据库名。若忽略贴吧名，则爬取config.json里面DEFAULT的数据库。 特别提醒 任务...
我的毕业设计爬虫，python、scrapy.zip
最新发布
01-15
7. **数据存储**：将爬取到的数据存储到文件（如CSV、JSON）、数据库（如MySQL、MongoDB）或其他格式。 8. **异常处理和错误修复**：处理可能出现的网络问题、编码问题、网站结构变化等，保证爬虫的稳定性和鲁棒性...
全国县级以上行政区编码json文件
09-13
这是最新的刚从官网上采集的数据信息，因为之前下载别人的需要分数什么的，就想做个免费的，没想到最低还是1，真是尴尬。。
解决scrapy存储json中文默认为Unicode编码问题
TGBLOG
07-05 1494
scrapy爬取结果输出为json文件时，中文默认为unicode编码，网上找了很多，都非常不靠谱。这里给出最简单的一种做法： pipelines.py import json class LianjiaPipeline(object): def __init__(self): self.file = open('items.json', 'w
使用Scrapy命令行工具【导出JSON文件】时编码设置
aimianwo1708的博客
06-30 164
Windows 10家庭中文版，Python 3.6.4，virtualenv 16.0.0，Scrapy 1.5.0， 使用scrapy命令行工具建立了爬虫项目（startproject），并使用scrapy genspider建立了爬虫，用于抓取某中文门户网站首页的新闻标题及其链接，全程都在虚拟环境（virtualenv）中执行。 使用scrapy crawl执行爬虫程序...
Scrapy框架中设置编码格式
dayun555的博客
03-01 5815
utf-8:全球通用编码ascii:能存储字母/数字/符号,美国专用gbk|gb2312|gb18030:能够存储汉字要生成经编码后的csv类型文件cmdline.execute(['scrapy', 'crawl', '爬虫文件名称', '-o', '文件名.csv', '-s', 'FEED_EXPORT_ENCODING="gb18030"'])例如：cmdline.execute(['sc...
scrapy编码问题--终极版
天空晴朗☀心情很蓝
09-13 1033
爬虫遇到编码不对的情况是家常便饭，普通情况我就不一一说明了，一般常用 .encode('utf-8') .decode('utf-8') 编码-解码两个方法，多试几次总能解决。 当遇上一种情况，不管怎么调都无法转换正常编码的情况下，是由于在请求时需要直接对 response 进行编码转换。 即对应 requests 的 r = requests(url) r.encoding = '...
scrapy抓取到中文,保存到json文件为unicode,如何解决.
chongaishi2879的博客
04-09 364
在使用 scrapy,pipeline 保存 json等文件时,在保存/输出中文时,会出现unicode码,可将 pipelines.py 文件改为 importjson importcodecs classFilterWordsPipeline(object): def__...
scrapy 非标准html处理,处理 Scrapy 中网页编码问题
weixin_42290401的博客
06-19 781
最近接手了一个全网爬虫的工作项，基于 Python 2.7 ，用到了 Scrapy 框架，同时也用了 newspaper 这个库(github 地址)来做基于标签密度的正文内容提取。鉴于之前一直运行良好，所以我也没有太在意这一块。后面事业部那边说最近发现好几个网站的网页都出现了中文乱码，让我处理一下这个问题。末了我也顺手把处理的经过记录一下，分享一下经验。问题定位正文解析的爬虫里，用到了在 new...
Scrapy:抓取返回数据格式为JSON的网站内容
热门推荐
陈小峰（iefreer）的专栏
03-09 2万+
http://stackoverflow.com/questions/18171835/scraping-a-json-response-with-scrapy
Python爬虫框架Scrapy实例（一）
weixin_30699955的博客
10-05 219
目标任务：爬取腾讯社招信息，需要爬取的内容为：职位名称，职位的详情链接，职位类别，招聘人数，工作地点，发布时间。 一、创建Scrapy项目 scrapy startproject Tencent 命令执行后，会创建一个Tencent文件夹，结构如下 二、编写item文件，根据需要爬取的内容定义爬取字段 # -*- coding: utf-8 -*- import scr...
scrapy json 中文乱码
07-28
Scrapy存储json时出现中文乱码的问题可以通过设置编码方式来解决。在终端指令行方式中，可以使用以下命令来指定编码方式为utf-8：scrapy crawl xxx -o filePath.文件类型 -s FEED_EXPORT_ENCODING=utf-8。这样可以确保中文字符能够正确显示。\[1\] 如果在查看.json文件时出现中文显示问题，可以使用cat命令查看文件内容，并指定编码方式为utf-8，例如：cat jianshu.json -s FEED_EXPORT_ENCODING=utf-8。这样可以正确显示中文字符。\[2\] 根据Scrapy官方文档的解释，FEED_EXPORT_ENCODING参数默认为None，即使用UTF-8编码，除了JSON输出，JSON输出使用安全的数字编码(\uXXXX序列)。如果想要在JSON中也使用UTF-8编码，可以将FEED_EXPORT_ENCODING参数设置为utf-8。\[3\] #### 引用[.reference_title] - *1* [Scrapy存储json](https://blog.csdn.net/qq_47168123/article/details/120370474)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [Scrapy爬虫之中文乱码问题](https://blog.csdn.net/qq_40795214/article/details/82154464)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [Scrapy 导出 JSON 时中文乱码](https://blog.csdn.net/weixin_39720495/article/details/102454276)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值