python中文编码梳理

1. python3 默认都是unicode编码，可以通过encode得到其他编码

>>> a = "我的"
>>> a.encode()
b'\xe6\x88\x91\xe7\x9a\x84'
>>> a.encode("unicode_escape")
b'\\u6211\\u7684'

2. 二进制流转中文，decode，或者str

>>> b = b'\xe6\x88\x91\xe7\x9a\x84'
>>> b.decode('utf-8')
'我的'
>>> str(b, encoding='utf-8')
'我的'
>>>b = b'\\u6211\\u7684'
>>> b.decode('unicode_escape')
'我的'
>>> str(b, encoding='unicode_escape')
'我的'

3. 二进制字符串转中文，先转成byte，再decode

>>> a = "e68891e79a84"
>>> bytearray.fromhex(a)
bytearray(b'\xe6\x88\x91\xe7\x9a\x84')
>>> bytearray.fromhex(a).decode('utf-8')
'我的'

4. 编码字符串转成中文，首先转成二进制字符串，再decode

>>> a='\\u6211\\u7684'
>>> a.encode('ascii').decode('unicode_escape')
'我的'
>>> a='\xe6\x88\x91\xe7\x9a\x84'
>>> bytes(map(ord, a)).decode('utf-8')
'我的'

'\xe6\x88\x91\xe7\x9a\x84’就是一串16进制数表示字符串，map(ord, a)结果就是6个整数

5. encode decode
   str(s3)相当于是执行s3.encode(‘ascii’)
   unicode(s4)等效于s4.decode(‘ascii’)
   注意一些隐式调用，比如spark输出时会转成unicode输出，如果是utf8的str就会报ascii不能decode
6. 文件编码转换，用enca工具

enca -L zh_CN file 检测文件的编码 
enca -L zh_CN -x coding file 将文件编码转换为指定编码 
enca -L zh_CN -x coding *  所有文件转换为指定编码

8. 特殊字符处理，vim下set list可以看见^M字符，是windows文件的控制字符，有的程序识别不了

sed -i 's/^M//g file

注意：^M应该的 control+v control+m打出来的，不然不对