记录pyspider获取ajax接口中文乱码的问题

项目场景:

使用pyspider获取今日头条ajax接口数据


问题描述:

使用pyspider获取今日头条ajax接口数据时中文全部成了乱码

"keyword":"火灾","city":"北京","tokens":["火灾"]

使用decode设置编码格式没起作用
使用sys模块同意设置编码同样没起作用

import sys  
reload(sys)  
sys.setdefaultencoding('utf8')

之后我使用requests.get发送请求发现获取的数据并没有乱码,感觉特别神奇

,"keyword":"火灾","city":"北京","tokens":["火灾"]

解决方案:

猜测可能是pyspider方法使用不对引起的问题(我就是个小菜鸟,只是乱猜测),开始调试代码,在将fetch_type=‘js’(这句作用是引用phantomjs获取渲染js)这段代码去掉之后发现乱码消失了,百思不得其解

如果有大佬知道这是什么原因,跪求大佬指点

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值