python 字符串 编码 解码_python字符编码与解码 unicode，str

解释以下几个问题：

（1）python2中str和unicode是两种字符串类型，与字符编码方式是什么关系？

（2）str和unicode是怎么相互转换的？

（3）'\x...'；'\u...', '\U...'； u'...',u'\u...',u'\U...'这些都是什么意思？

（4）字符“汉”在str类型下显示为 '\xe6\xb1\x89'，在unicode类型下为啥是这样： u'\u6c49'，两者之间什么关系？

（5）unicode-escape又是啥？

回答如下：

一、字符编码

首先一点是“字符编码”（charcater coding）问题，即每个字符与某个数值（编码）的一一映射，

称为码位值（code point or code position）。早期的ASCII编码用8位二进制（一个字节），

即数值0~255范围编码了128个字符，因为英文字母就那26个，加上大小写以及一些标点符号，也够用了。

但是各国语言符号多种多样，0~255范围显然不够用，于是又有了GBK等各种编码，

最后，为了编码所有的字符，产生了统一标准：Unicode(此Unicode非pyhton中的unicode类型)，

各种字符都能在Unicode中找到对应的码位值。

注：在下文中，各种进制用英文缩写代替：十进制：DEC，十六进制：HEX， 二进制：BIN。

比如，汉字字符“汉”在Unicode下的码位值为：

DEC

27721

HEX

6c49

BIN

0110 1100 0100 1001

接下来的问题就是，Unicode具体怎样存储和传输，如果用两个字节，最大就是65535，汉字据说有超过十万个，

再加上其他语言的字符，这显然不够，需要更多字节。Unicode有两种格式：UCS-2和UCS-4，UCS-2就是用2个字节，

UCS-4用4个字节，4个字节最大可达42亿，应该是够了。但是，假如为了涵盖各种字符编码，每个字符都用4个字节，

那在存储和传输中就浪费了大量空间，比如英文字母只需一个字节，而字符“汉”只需两个字节。为了节省空间，

变长编码应运而生，但是计算机在读取二进制编码时，怎么知道一个字符该读几个字节，这就需要把字符所需字节数的信息

也编码到二进制中，UTF-8就是这样的编码。

在UTF-8中，对于单字节字符，UTF-8兼容ASCII，两者编码相同；对于多字节字符，字节数的信息编码在第一个字节中，

字节数用1的个数表示，再用0隔开，接着是原来的Unicode编码，后面每个字节均以10开头，具体如下所示：

还是以字符“汉”为例，来对比下Unicode编码和UTF-8编码，

其中，utf8二进制前4个数为1110，即表示此字符占用三个字节：

Unicode(HEX)

6c 49

Unicode(BIN)

0110 1100, 0100 1001

UTF-8(BIN)

1110 0110, 1011 0001, 1000 1001

UTF-8(HEX)

e6 b1 89

二、str和unicode

python2中的str和unicode是两种字符串类型（class）。

unicode就是以Unicode编码为基础的字符串类型，赋值格式为u'xxx'，

相较于一般的字符串赋值，多了一个前缀"u"，还是以字符“汉”为例，我看到的格式有三种:

#=== 第一种，直接是字符 ===

In [10]: u'汉'Out[10]: u'\u6c49'In [11]: print u'汉'汉#=== 第二种，双字节十六进制，\u小写 ===

In [14]: u'\u6c49'Out[14]: u'\u6c49'In [15]: print u'\u6c49'汉#=== 第三种，四字节十六进制，\U大写 ===

In [16]: u'\U00006c49'Out[16]: u'\u6c49'In [17]: print u'\U00006c49'汉

注意如果把第三种中的4个0省掉，会报错。

str是另一种字符串，用于存储和传输的编码字符串，因此不同于unicode类型，

unicode类型字符串需要经过再次编码（encode）得到str类型字符串。

In [19]: su = u'汉'In [20]: su

Out[20]: u'\u6c49'In [21]: s = su.encode('utf8')

In [22]: s

Out[22]: '\xe6\xb1\x89' #三个字节构成

In [23]: prints

汉

In [24]: sg = su.encode('gbk')

In [25]: sg

Out[25]: '\xba\xba' #两个字节构成

In [26]: printsg

ºº#环境默认编码不是gbk，因此显示乱码

In [30]: len(su)

Out[30]: 1In [31]: len(s)

Out[31]: 3In [32]: len(sg)

Out[32]: 2

反过来，str也可以解码（decode）得到unicode类型。（这里的“\x”是十六进制转义的意思，后面跟的是十六进制数字）

In [34]: s.decode('utf8')

Out[34]: u'\u6c49'In [35]: print s.decode('utf8')

汉

In [36]: sg.decode('gbk')

Out[36]: u'\u6c49'In [37]: print sg.decode('gbk')

汉

即：

str -- (decode) --> unicode

unicode -- (encode) --> str

还有一个问题，字符串'\u6c49'是什么意思，注意这里的'\u6c49'是str类型。

In [40]: ss = '\u6c49'In [41]: ss

Out[41]: '\\u6c49'In [42]: printss

\u6c49

In [44]: ss.decode('unicode-escape')

Out[44]: u'\u6c49'In [45]: print ss.decode('unicode-escape')

汉

这其实表示的是unicode-escape编码的str变量，类似的还有'\U00006c49'：

In [52]: ss = '\U00006c49'In [55]: ss.decode('unicode-escape')

Out[55]: u'\u6c49'In [56]: print ss.decode('unicode-escape')

汉

完毕。

参考文章

【2】 https://www.zhihu.com/question/31833164 关注刘志军的回答

【3】 http://www.pitt.edu/~naraehan/python2/unicode.html handling unicode.