scrapy esponse.body 对乱码的处理

在用scrapy进行数据抓取的时候，经常用如下代码，将返回的数据解析成json,然后操作数据

jsonContent = json.loads(response.body)

但是有时候会遇到response.body的内容中有中文乱码的问题，导致json.loads解析失败。解决方案如下：

1、chrome安装chartset插件，安装好之后如下图：

 

2、将请求的链接或接口地方放到浏览器访问

测试链接：

http://data.eastmoney.com/notices/getdata.ashx?StockCode=002172&CodeType=1&PageIndex=1&PageSize=50&SecNodeType=0&FirstNodeType=6&rt=51688099

当利用chartset设置成utf-8的编码格式时，出现了中文乱码，把编码格式修改成gbk时，则正常显示

 

所以在爬虫里面，将response.body进行GBK解码即可解决中文乱码问题