- python3 默认都是unicode编码,可以通过encode得到其他编码
>>> a = "我的"
>>> a.encode()
b'\xe6\x88\x91\xe7\x9a\x84'
>>> a.encode("unicode_escape")
b'\\u6211\\u7684'
- 二进制流转中文,decode,或者str
>>> b = b'\xe6\x88\x91\xe7\x9a\x84'
>>> b.decode('utf-8')
'我的'
>>> str(b, encoding='utf-8')
'我的'
>>>b = b'\\u6211\\u7684'
>>> b.decode('unicode_escape')
'我的'
>>> str(b, encoding='unicode_escape')
'我的'
- 二进制字符串转中文,先转成byte,再decode
>>> a = "e68891e79a84"
>>> bytearray.fromhex(a)
bytearray(b'\xe6\x88\x91\xe7\x9a\x84')
>>> bytearray.fromhex(a).decode('utf-8')
'我的'
- 编码字符串转成中文,首先转成二进制字符串,再decode
>>> a='\\u6211\\u7684'
>>> a.encode('ascii').decode('unicode_escape')
'我的'
>>> a='\xe6\x88\x91\xe7\x9a\x84'
>>> bytes(map(ord, a)).decode('utf-8')
'我的'
'\xe6\x88\x91\xe7\x9a\x84’就是一串16进制数表示字符串,map(ord, a)结果就是6个整数
- encode decode
str(s3)相当于是执行s3.encode(‘ascii’)
unicode(s4)等效于s4.decode(‘ascii’)
注意一些隐式调用,比如spark输出时会转成unicode输出,如果是utf8的str就会报ascii不能decode - 文件编码转换,用enca工具
enca -L zh_CN file 检测文件的编码
enca -L zh_CN -x coding file 将文件编码转换为指定编码
enca -L zh_CN -x coding * 所有文件转换为指定编码
- 特殊字符处理,vim下set list可以看见^M字符,是windows文件的控制字符,有的程序识别不了
sed -i 's/^M//g file
注意:^M应该的 control+v control+m打出来的,不然不对