Python2.7UTF-8导致中文乱码问题解决办法
file = open('data.txt','r')
lines = file.readlines()
for line in lines[0:1]:
print line,
print line.split()
运行后
0.0200197 1.97691e-005
['0\x00.\x000\x002\x000\x000\x001\x009\x007\x00', '\x001\x00.\x009\x007\x006\x009\x00
这是因为在UTF-16,每个字符占用两个字节。*如果你的字符都是ASCII码,这意味着UTF-16编码看起来像编码一个额外的“\\设备后,每个字符的ASCII码。
要解决这个问题,只需解码数据:
print line.decode('utf-16-le').split()
或者用IO或编解码器模块在文件级执行相同的操作:
file = io.open('data.txt','r', encoding='utf-16-le')
这是一种简单化:每个BMP字符占用两个字节;每个非BMP字符变成代理项对,每两个代理人以两字节。
参考:https://stackoverflow.com/questions/19328874/python-read-text-file-with-weird-utf-16-format