项目场景:
使用pyspider获取今日头条ajax接口数据
问题描述:
使用pyspider获取今日头条ajax接口数据时中文全部成了乱码
"keyword":"ç«ç¾","city":"北京","tokens":["ç«ç¾"]
使用decode设置编码格式没起作用
使用sys模块同意设置编码同样没起作用
import sys
reload(sys)
sys.setdefaultencoding('utf8')
之后我使用requests.get发送请求发现获取的数据并没有乱码,感觉特别神奇
,"keyword":"火灾","city":"北京","tokens":["火灾"]
解决方案:
猜测可能是pyspider方法使用不对引起的问题(我就是个小菜鸟,只是乱猜测),开始调试代码,在将fetch_type=‘js’(这句作用是引用phantomjs获取渲染js)这段代码去掉之后发现乱码消失了,百思不得其解
如果有大佬知道这是什么原因,跪求大佬指点