Scrapy保存中文字符到json文件时编码设置

最新推荐文章于 2022-11-07 20:42:54 发布
最新推荐文章于 2022-11-07 20:42:54 发布
阅读量1.9k 收藏 4
点赞数 3
分类专栏： python 文章标签： scrapy 编码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Scofield971031/article/details/88708879
版权

最近在根据(http://www.runoob.com/w3cnote/scrapy-detail.html)学习Scrapy时，遇到一个问题：使用scrapy crawl执行爬虫程序并导入一个json文件，此时可以看到，命令行窗口显示的保存内容是中文，但在打开导出的json文件时，其内容却显示为以\u开头的Unicode编码：
命令行json文件

之后查询相关资料后，发现有两个解决方法：

  1. 执行爬虫命令时，加上-s FEED_EXPORT_ENCODING=UTF-8参数
    命令

  2. 在settings.py文件中加入FEED_EXPORT_ENCODING='UTF-8'，这样在命令行中就不需要加这个参数了，我是采用的这个方法比较简便
    settings.py
    此时再在命令行中运行>scrapy crawl itcast -o teachers.json，打开json文件，内容如下：
    在这里插入图片描述

斯科菲尔德666
关注
专栏目录
Scrapy存储json
Aunean's Blog
09-18 529
Scrapy存储json 1.使用终端指令行方式 指令：scrapy crawl xxx -o filePath.文件类型 -s FEED_EXPORT_ENCODING=utf-8 -s FEED_EXPORT_ENCODING=utf-8 解决中文乱码 注意：持久化存储对应的文本文件类型只可以为 ‘json’, ‘jsonlines’, ‘jl’, ‘csv’, ‘xml’, ‘marshal’, ‘pickle’ 类型 2.直接创建并写入 json 文件 import os import cod
scrapy 自定义管道保存图片、json、csv文件格式以及MySQL
weixin_42657103的博客
08-13 2378
在上一篇博客中，简单的介绍了系统自带的管道保存方法，今天来讲一下如何用自定义的管道来保存文件以及图片。 1.保存图片： 开始的步骤，保持不变，成功获取数据后，进入到pipeline.py里面，引入 from scrapy.pipelines.images import ImagesPipeline, 并且继承 ImagesPipeline （如下图）： import scrapy # Im...
设置json编码
qq_41995845的博客
04-21 503
response.setContentType("text/html;charset=UTF-8"); /** * Created by wq on 2017/6/20. */ public class PrintWriterUtil { public static void print(String ret,HttpServletResponse response){ PrintWriter printWriter=null; try {
scrapy 编码问题.
weixin_44858471的博客
10-20 850
scrapy编码问题. 使用scrapy进行网站爬取,有时候中文字符会变成unicode字符串,类似 "\u70df\u53f0\u7ea2\u5bcc\u58eb80mm\u4ee5\u4e0a" 解决方法 如果用最新版scrapy(version>=1.2)在运行爬虫的时候加上参数-s FEED_EXPORT_ENCODING=utf-8,即最终命令是: scrapy crawl your_spider -o result.json -s FEED_EXPORT_ENCODING..
Scrapy 获取数据保存为json文件
搬砖小能手
11-07 1750
Scrapy 获取数据保存为json文件
scrapy编码问题
Tony_maya的博客
03-02 275
UnicodeEncodeError: 'ascii’编解码器无法对位置15-18的字符进行编码:序号不在范围内(128) print(‘小分类信息：{}’.format(s_category_info)这句出错 解决方法：print(‘小分类信息：{}’.format(s_category_info.encode(“utf-8”))) ...
基于scrapy框架存储爬虫数据的四种方法（自定义json文件、json export方法、同步存储数据库、异步存储数据库）
AlexGeek
12-28 1238
最近在学习scrapy爬虫框架，感受到了它的强大之处，在接触各种数据存储方法后，希望进行一个简单的总结。总的来说，爬虫常用的数据存储方法，无非就是保存在本地的json格式化文件或者是数据库中，但在学习的过程中，了解了每种场景中不一样的用法，分别是：自定义json文件、json export方法、同步存储数据库、异步存储数据库四种方法。下面就结合代码简要进行一个介绍。 说到数据的存储，了解sc...
关于scrapy的xpath框架输出爬取内容为json文件的方法（特别是settings中pipeline的配置）
小韩的博客
01-29 613
关于scrapy的xpath框架输出爬取内容为json文件的方法（特别是settings中pipeline的配置） 写这篇文章的原因是网上的大部分回答着重在pipeline.py的配置但是如何在settings.py中开启却说的很模糊。 在设置json输出之前要保证爬取逻辑是没有问题的并且能在命令行输出。然后就进入正题。 进入你新建的项目的根目录，比如在命令行用 scrapy star...
scrapy json 中文乱码
最新发布
07-28
如果在查看.json文件时出现中文显示问题，可以使用cat命令查看文件内容，并指定编码方式为utf-8，例如：cat jianshu.json -s FEED_EXPORT_ENCODING=utf-8。这样可以正确显示中文字符。\[2\] 根据Scrapy官方文档的...
解决scrapy存储json中文默认为Unicode编码问题
TGBLOG
07-05 1500
scrapy爬取结果输出为json文件时，中文默认为unicode编码，网上找了很多，都非常不靠谱。这里给出最简单的一种做法： pipelines.py import json class LianjiaPipeline(object): def __init__(self): self.file = open('items.json', 'w
全国县级以上行政区编码json文件
09-13
这是最新的刚从官网上采集的数据信息，因为之前下载别人的需要分数什么的，就想做个免费的，没想到最低还是1，真是尴尬。。
使用Scrapy命令行工具【导出JSON文件】时编码设置
aimianwo1708的博客
06-30 169
Windows 10家庭中文版，Python 3.6.4，virtualenv 16.0.0，Scrapy 1.5.0， 使用scrapy命令行工具建立了爬虫项目（startproject），并使用scrapy genspider建立了爬虫，用于抓取某中文门户网站首页的新闻标题及其链接，全程都在虚拟环境（virtualenv）中执行。 使用scrapy crawl执行爬虫程序...
Scrapy框架中设置编码格式
dayun555的博客
03-01 5821
utf-8:全球通用编码ascii:能存储字母/数字/符号,美国专用gbk|gb2312|gb18030:能够存储汉字要生成经编码后的csv类型文件cmdline.execute(['scrapy', 'crawl', '爬虫文件名称', '-o', '文件名.csv', '-s', 'FEED_EXPORT_ENCODING="gb18030"'])例如：cmdline.execute(['sc...
scrapy编码问题--终极版
天空晴朗☀心情很蓝
09-13 1038
爬虫遇到编码不对的情况是家常便饭，普通情况我就不一一说明了，一般常用 .encode('utf-8') .decode('utf-8') 编码-解码两个方法，多试几次总能解决。 当遇上一种情况，不管怎么调都无法转换正常编码的情况下，是由于在请求时需要直接对 response 进行编码转换。 即对应 requests 的 r = requests(url) r.encoding = '...
scrapy抓取到中文,保存到json文件为unicode,如何解决.
chongaishi2879的博客
04-09 369
在使用 scrapy,pipeline 保存 json等文件时,在保存/输出中文时,会出现unicode码,可将 pipelines.py 文件改为 importjson importcodecs classFilterWordsPipeline(object): def__...
scrapy 非标准html处理,处理 Scrapy 中网页编码问题
weixin_42290401的博客
06-19 789
最近接手了一个全网爬虫的工作项，基于 Python 2.7 ，用到了 Scrapy 框架，同时也用了 newspaper 这个库(github 地址)来做基于标签密度的正文内容提取。鉴于之前一直运行良好，所以我也没有太在意这一块。后面事业部那边说最近发现好几个网站的网页都出现了中文乱码，让我处理一下这个问题。末了我也顺手把处理的经过记录一下，分享一下经验。问题定位正文解析的爬虫里，用到了在 new...
Scrapy:抓取返回数据格式为JSON的网站内容
热门推荐
陈小峰（iefreer）的专栏
03-09 2万+
http://stackoverflow.com/questions/18171835/scraping-a-json-response-with-scrapy
Python爬虫框架Scrapy实例（一）
weixin_30699955的博客
10-05 220
目标任务：爬取腾讯社招信息，需要爬取的内容为：职位名称，职位的详情链接，职位类别，招聘人数，工作地点，发布时间。 一、创建Scrapy项目 scrapy startproject Tencent 命令执行后，会创建一个Tencent文件夹，结构如下 二、编写item文件，根据需要爬取的内容定义爬取字段 # -*- coding: utf-8 -*- import scr...
Scrapy第十三篇：编码检测cchardet
Good Luck
08-18 1237
cchardet是chardet的升级版，功能和chardet完全一样（requests依赖包采用的就是chardet），用来检测一个字节数组的编码。由于是用C和C++实现的，所以它的速度非常快，非常适合在爬虫中用来判断网页的编码。。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值