采用Python3.4版本
在python3.x版本中python采用unicode作为字符串的默认编码, 也就是我们常说的str类型.
这里要搞清楚一个概念, 字符是一个抽象的概念, 并不是具体到某种编码, 同一个字符在不同编码中会有不同的表现形式
>>> s.encode('gbk')
b'\xd6\xd0\xce\xc4'
>>> s.encode('utf-16')
b'\xff\xfe-N\x87e'
>>> s.encode('unicode-escape')
b'\\u4e2d\\u6587'
>>> s.encode('utf-8')
b'\xe4\xb8\xad\xe6\x96\x87'
所以, str对应unicode编码, bytes是一种具体实现的编码字节序列.
str和bytes都具有基本相同的方法(encode/decode除外).
也就是:
str.encode(‘gbk’) -> 把str(unicode)转换成根据gbk编码的字节序列
bytes.decode(‘gbk’) -> 把根据gbk编码的gbk字节序列转换成str(unicode)
>>> s = '中文'
>>> s.encode()
b'\xe4\xb8\xad\xe6\x96\x87'
>>>
从utf-8到unicode转换过程如下:
\xe4\xb8\xad
1110 0100 1011 1000 1010 1101
\xe6\x96\x87
1110 0110 1001 0110 1000 0111
1110 <0100> 10<11 1000> 10<10 1101>
1110 <0110> 10<01 0110>10<00 0111>
0100 1110 0010 1101 -> 0x4e0x2d -> \u4e2d
0110 0101 1000 0111 -> 0x650x87 -> \u6587
>>> '\u4e2d\u6587'
'中文'
待续