前言
经常处理一些文本,处理英文语料没什么问题,但是到了中文这儿就让人抓狂了,稍微不注意就会窜出各种乱码错误,平时出现几个小错误试试调调也能过去,但是对于编码这个问题还是畏惧,这几天好好整理了一下python的编码问题,感谢万能的Google和万能的StackOverflow,算是解决了我当前对编码问题的一些困惑
编码的前世今生
从unicode说去
在计算机中,所有的东西都是以字节形式储存的,但是字节对于我们来说是没有具体意义的,因此我们需要把二进制字节转换成人们能够理解的字符。最早的是使用ASCII码将字符对应到二进制字节上,如下图
给定一个ASCII码65(十六进制41),我们知道它对应的是字符A,但是ASCII码仅仅能够表示有限的字符,于是ISO Latin1 或者8859-1,比ASCII码多拓展了96个字符,之后也有一些字符集进行了更多的拓展,但是世界范围内的字符是很多的,东亚的中日韩还有俄文等字符也需要对应的编码方式,这个时候Unicode的编码方式出来了,Unicode的想法是统一天下编码方式,Unicode涵盖了上数以千计的字符码点方法,而且Unicode留有还有很多未码点空间,所以Unicode能完全满足现在和之后若干年的人类编码需求。Unicode是一个以’U+’字符开头,后面跟着4位或者5位或者6位十六进制数字,下图展示了6种字符的Unicode码点方式:
那么接下来的问题就是如何把Unicode码点映射到二进制字节上,常用的码点映射方式有UTF-16、UTF-32,UTF-8。下图是UTF-8映射的一个实例:
可以看出,单字节的ASCII码字符仍然映射的是单字节,而且ASCII编码方式是UTF-8的子集。
理解python2的encode和decode
python的str和Unicode类型
python2的编码解码方式和python3不一样,这里暂且先表述python2 中的encode和decode。
在python2中,有两种不同的字符串数据类型,一种是 “str”对象,存储着字节,如果在字符串前使用一个’u’的前缀,表示的是这个字符的Unicode码点:
>>> my_string="Hello World"
>>> type(my_string)
<type 'str'>
>>> my_unicode=u"Hello World"
>>> type(my_unicode)
<type 'unicode'>
其中第一个是“str”另一个是“unicode”,这是不一样的,这点需要尤其注意,这两种都可以叫string,但是有时不一样的东西 这点会在之后介绍两者的区别。
python的encode和decode
首先明白一件事情,之前说过Unicode将所有的字符都对应上了相应的码点,而UTF-8或者ASCII码不过是对应从Unicode到字节的映射方式,既然有映射方式,那么就有映射方向。我们把从Unicode到字节码(byte string)称之为encode,把从字节码(byte string)到Unicode码称之为decode
看个小例子:
>>> s='中国'
>>> len(s)
6
>>> s.decode('utf-8')
u'\u4e2d\u56fd'
>>> s_decode=s.decode('utf-8')
>>> len(s_decode)
2
>>> s_decode.encode('utf-8')
'\xe4\xb8\xad\xe5\x9b\xbd'
这个例子中,s表示的是byte string,其长度有6个字节,将该byte string decode到s_decode,显然,s_decode是一个unicode字符串,其长度变成了2,也就是两个Unicode码点,然后我将s_decode这个Unicode string再次encode到byte string,可以看到这个字节的十六进制编码方式。
python2 的encode和decode errors解析
python2经常出现的错误就是,decode和encode的error问题,来具体看一下。
接着上面的例子:
>>> s_decode.encode(