字节编码与转码

编码集

1. ascii码：一个字节，只有英文字符和一些符号
2. Unicode：通常两个字节，偏僻的可能4字节，可以覆盖世界上所有语言文字
3. utf-8：可变长编码格式，英文同ascii码一致，中文为3个字节，生僻的4-6字节
4. gbk：中国的编码方式，各国都有自己的编码方式，且不兼容
5. utf-8的编码规则有二条：
   1）对于单字节的符号，字节的第一位设为0，后面7位为这个符号的unicode码。因此对于英语字母，UTF-8编码和ASCII码是相同的。
   2）对于n字节的符号（n>1），第一个字节的前n位都设为1，第n+1位设为0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，全部为这个符号的unicode码。

编码和解码

Unicode兼容各国的编码方式，可以编码为所有的其他格式，而其他格式都可以解码为unicode编码。

根据上图描述，如果我们想将gbk编码的数据转为utf-8需要先解码为unicode，再编码为utf-8。

# python3默认使用utf-8编码
import sys
print(sys.getdefaultencoding())  # 获取默认编码
s = "你好"
s_en = s.encode()
print(s_en,type(s_en))

utf-8
b’\xe4\xbd\xa0\xe5\xa5\xbd’ <class ‘bytes’>

由以上代码可以看到，在python3中，默认的编码是utf-8，但是存储在内存中数据是unicode编码的，所以以上变量s没有decode方法。为什么会这样呢？
答案是：现在计算机为了解决乱码问题，在本地都是用unicode编码显示，在存储和传输时，则用的utf-8编码，下面盗用廖雪峰大佬的一张图来描述，大家可能会更清晰：

同时，在python3中，调用encode方法后，不只是将编码集转换了，同时也将数据类型改为了bytes类型。