scrapy爬取的数据进行存储时,中文为unicode

学习scrapy存储文件时,在爬虫文件将自己的数据写为dict,之后在pipelines.py中转化为json,之后写入文件时发现文件中的汉字为unicode编码,在网上找了找解决办法,说是在settings.py中添加FEED_EXPORT_ENCODING = 'utf-8' 这一行代码,照做之后发现无效。
然后又找了找,发现了很简单的解决办法: 在pipelines.py文件中转为json时,添加ensure_ascii=False 这一参数即可。

ensure_ascii=True默认输出ASCLL码,如果把这个该成False,就可以输出中文。

def process_item(self, item, spider):
	    item = json.dumps(item,ensure_ascii=False)
	    self.qsbk_file.write(item+'\n')
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值