![ad529a9cd3d275cc38bbce33b97c8520.png](https://i-blog.csdnimg.cn/blog_migrate/5efbd40e02f3d3b0a2752e461fd40d91.jpeg)
如果说在python2中处理字符编码很蛋疼的话,如果幻想着python3不那么蛋疼,那么我只想说,你想多了,好不容易在python2中把字符编码的问题捣腾清楚了,但是换成python3,它会将之前的体系重新构建,使得之前的知识体系不能很好的运用,只能重新来构建。感觉是从一个坑跳到了另外一个坑,下面来看看这个令人头疼的python编码问题。
![26832eb796e6d87bbd237345854660c0.png](https://i-blog.csdnimg.cn/blog_migrate/d075a4d56008caa371f333c2cd56066b.jpeg)
python2中的编码处理
python2中将ASCII 码作为默认编码方式,对中文处理很不友好。
>>> import sys>>> sys.getdefaultencoding()'ascii'
关于 GBK 和 UTF-8,概念性的东西就不解释了,网上一搜便知,这里主要是来说明一下,将一个 GBK 编码的字符串转换成 UTF-8 编码,只需要通过 Unicode 来转换
>>> s = '杨'>>> s'xd1xee'>>> type(s)>>> print s杨>>> su = s.decode('gbk')>>> suu'杨'>>> sutf8 = su.encode('utf-8')>>> sutf8'xe6x9dxa8'>>> print sutf8鏉?
其实就是将 unicode 作为一个中转站,将各种编码转换(decode)成unicode 使用 s.decode(chaset) ,然后再将unicode编码的字符串转换(encode)成想要的编码 s.encode(chaset)。
其实这么看在python2中的字符编码问题也不是很复杂,主要是要弄清楚字符串本身是什么编码即可。有一个库可以检测字符编码,chardet ,使用chardet.detect(str) 来检查字符串编码,注意,它这里给出的只能做为参考,并不能很准确的给出编码,所以他的返回值中会有一个 confidence 的值,如果值是1.0,说明它100%的肯定是这个编码。
python3中的编码处理
再来看看python3的编码处理,python3中将unicode合并成了str,已经没有unicode这种类型了。
>>> s = '杨'>>> type(s)>>> su = u'杨'>>> type(su)>>> s'杨'>>> su'杨'
可以看出它们都是 str 类型。 那么如何在python3中将一个GBKx编码的字符串转成utf-8呢? python3中有一种全新的数据类型 bytes ,它表示二进制字节数据,初始化是在字符前加 b ,bytes 类型可以是 ASCII范围内的字符和其它十六进制形式的字符数据,但不能用中文等非ASCII字符表示。
>>> b = b'a'>>> bb'a'>>> type(b)>>> a = 'a'>>> type(a)>>> b = b'杨彦星' File "