python 输出JSON类型数据时遇到的编码问题(utf8,unicode)

在使用Python 2.7开发Kafka consumer时,遇到中文数据的编码问题。消费Kafka信息并保存到文件时,中文内容显示为Unicode编码如“u4f60u60f3u5565u5462”。解决方法是在调用json.dumps时设置ensure_ascii=False,并指定Python脚本的编码,避免出现乱码错误。
摘要由CSDN通过智能技术生成

开发背景

目前已经用scala开发了RESTFUL API来接收传送来的用户聊天数据,正在在使用python开发kafka的consumer消费kafka中的数据,每天保存成一个文件,然后加载到hive中。python版本是2.7

遇到的问题

  1. 发送中文时的乱码问题
    首先在在测试RESTFUL API 的时候就遇到了后台发送的中文信息乱码问题,这个问题在java或者scala端添加上正确的头部信息后搞定了

    HttpURLConnection conn = (HttpURLConnection) httpUrl.openConnection();
    conn.setRequestMethod("POST");
    conn.setRequestProperty("Content-Type", "application/json;charset=UTF-8");
  2. 消费kafka信息时的解码问题
    然后在使用python将消息消费出来时也出现了编码问题,并不能正确的将中文内容保存下来,例如 “content” : “\u4f60\u60f3\u5565\u5462”

    调试排查后发现主要原因在使用json.dumps方法是 没有指明 ensure_ascii=False(默认为True)
    当然还要声明python的编码

    reload(sys)
    sy
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值