scrapy基础知识之将item写入JSON文件,unicode如果用中文显示可以在pipelines中设置如下


日志级别
Python的内置日志记录定义了5个不同的级别来指示给定日志消息的严重性。这里是标准的,按递减顺序列出:
  1. logging.CRITICAL - 严重错误(最严重)
  2. logging.ERROR - 经常出错
  3. logging.WARNING - 用于警告消息
  4. logging.INFO - 用于参考消息
  5. logging.DEBUG - 用于调试消息(最低严重性)


COOKIES_ENABLED = False
# 下载延迟限制
#DOWNLOAD_DELAY = 1
# 输出日志等级
#LOG_LEVEL = 'DEBUG'
#LOG_LEVEL = 'INFO'
# 不加以下设置以 json 格式打印
#LOG_LEVEL = 'ERROR'
LOG_LEVEL = 'CRITICAL'
=========================================================================
以 上错误Scrapy 版本问题。scrapy=1.5.0 改成 scrapy=1.4.0


2、scrapy基础知识之将item写入JSON文件,unicode如果用中文显示可以在pipelines中设置如下:

设置之后的结果:

在使用json.dumps时要注意一个问题
import json print json.dumps( '中国' ) # 输出结果:"\u4e2d\u56fd"
输出的会是'中国' 中的ascii 字符码,而不是真正的中文。
这是因为json.dumps 序列化时对中文默认使用的ascii编码.想输出真正的中文需要指定ensure_ascii=False:
import json print json.dumps( '中国' ) # 输出结果:"\u4e2d\u56fd" print json.dumps( '中国' ,ensure_ascii= False ) # 输出结果:"中国"
你要去看 open 第三个参数默认值是什么,因为默认不是 utf-8写的吧,就算内容编码了,不用 utf-8写也会乱码,估计是这样
============================================================================


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值