【Python技巧】Python 中的编码与解码（encoding和decoding）\x和\u

基础知识：\x和\u

• \x：只是 16 进制的意思，后边跟两位，则表示单字节编码；
  • \d：十进制；\o：八进制；
• \u：unicode 码；
  • 一般其后跟 4 个 16 进制数，因此，一般为 unicode-16

\x和0x，二者有何区别：
0x 十六进制整型数值； \x 十六进制转义

1. 基本概念

所有的东西（文件，视频，音乐）在电脑上都是用0和1存储的。

• 比特 / bit：计算机中最小的数据单位，是单个的二进制数值 0 或 1
• 字节 / byte：计算机存储数据的单元，1 个字节由 8 个比特组成
• 字符：人类能够识别的符号
• 编码：将人类可识别的字符转换为机器可识别的字节码 / 字节序列
• 解码：编码的反向过程叫解码

2.编码格式

为了表达字符和二进制之间的对应关系，人们指定了各种编码对应规则：

• ASCII：只包含英文字母和符号的编码格式，只能表示256个字符或控制符
• gb2312，gbk是中国指定的编码格式，可以表示汉字字符。
• Unicode 是统一数据格式，包含了英文，法文，德文，汉语等所有字符。

Python2 的默认编码是 ASCII，不能识别中文字符，需要显式指定字符编码。
Python3 的默认编码为 Unicode，可以识别中文字符 计算机内存中的数据，统一使用 Unicode 编码 数据传输或保存到硬盘上，使用 UTF-8 编码

Unicode 是一项业界标准，通俗来说它是一个「字符集」。
UTF-8 是 Unicode 字符的一种编码方式，同时，还有 UTF-16BE、UTF-16LE 和 UTF-32 编码方式。

3.编码和解码

编码 / encode：将 Unicode 字符串转换为特定编码格式对应的字节码的过程
解码 / decode：将特定编码格式的字节码转换为对应的 Unicode 字符串的过程

In [43]: '美丽人生'.encode('gbk')
Out[43]: b'\xc3\xc0\xc0\xf6\xc8\xcb\xc9\xfa'

In [44]: b'\xc3\xc0\xc0\xf6\xc8\xcb\xc9\xfa'.decode('gbk')
Out[44]: '美丽人生'

In [45]: '美丽人生'.encode('utf-8')
Out[45]: b'\xe7\xbe\x8e\xe4\xb8\xbd\xe4\xba\xba\xe7\x94\x9f'

In [46]: b'\xe7\xbe\x8e\xe4\xb8\xbd\xe4\xba\xba\xe7\x94\x9f'.decode('utf-8')
Out[46]: '美丽人生'

In [47]: b'\xc3\xc0\xc0\xf6\xc8\xcb\xc9\xfa'.decode('gbk').encode('utf-8')
Out[47]: b'\xe7\xbe\x8e\xe4\xb8\xbd\xe4\xba\xba\xe7\x94\x9f'

上面这种以 b 开头的就是字节码，一个斜杠就是一个字节。可见，一个常用汉字用 GBK 格式编码后占 2 个字节，用 UTF-8 格式编码后占 3 个字节。因为存储或传输时，也用 UTF-8 编码，所以一个汉字占的空间就是 3 个字节
字符串长度和字节码长度：
In [61]: len('美丽人生')
Out[61]: 4

In [62]: len(b'\xe7\xbe\x8e\xe4\xb8\xbd\xe4\xba\xba\xe7\x94\x9f')
Out[62]: 12

4. Python3的默认编码

例如我们用编辑器打开一个文件，输入 a，这个 a 就是 Uincode 字符。当我们保存文件，这个字符就会根据编辑器的设置被转换为对应的编码格式的字节码保存到系统硬盘。这是一个 encode 过程。

Python 解释器执行文件时，先将文件字节码按照指定的编码格式解码为字符，然后运行程序。这是一个 decode 过程。

有些文件会在文件开头指定它的编码格式，例如：

• Python 文件通常这样写：# -- coding:utf-8 --
• HTML 文件通常这样写：

这两个例子都指定了文件是 UTF-8 编码格式，解码也要按这个格式解码。

Python3 的默认编码是 UTF-8。即如果文件未标明编码格式，解释器会自动按照 UTF-8来解码。当解释器无法通过指定的或默认的编码格式对文件进行转换 / 解码时，就会出现解码错误：UnicodeEncodeError

在代码实战中，HTML的编码格式是gbk，而Python默认使用了utf-8来解码，所以出现了乱码，我们通过设置encoding告诉它编码格式是gbk，它就能正常的显示HTML中的字符了。

5. Encoding

1)Character encode

电脑是2进制：0110

• ASCII: 1 byte -> 1 character
• utf 8: 1-4 byte -> 1character

2)Base64 encode

传输编码，把binary转化为text/ascii，当我们在传输一些音频视频或图片的时候，有一些不支持binary的协议，如SMTP和HTTP用文本协议，我们需要通过base64的方式把他转化为text。

• 方式：character encoding 先转为 byte 再转化为base64 string

3)URL encode

https://www.baidu.com

• url地址只能是ascii，不能有特殊字符
• name = 中国；name=%E4%B8%AD%E5%9B%BD
• 特殊符号：name=jack&address=usa

4)Data encode

• Avro
• XML
• Json
• Protobuff
  为了保证读写一致、传输高效和节省储存空间