python中的字符编码格式及相互转换

python编码格式简介

 因为计算机只能处理数字，其实只认识0和1，即二进制。如果要处理文本，就必须先把文本转换成数字才能处理。最早的计算机在设计时采用8比特（bit)为一个字节（byte)，所以一个字节（8位）能表示的最大整数是255（二进制11111111等于十进制255，简单表示为$2^8-1=255$）如果要表示更大的整数，就必须用更多字节。比如两个字节（16位）可以表示为65535（$2^{16}-1$），4个字节（32位）可以表示的最大整数4294967295（$2^{32}-1$)。(42亿)

 由于计算机是由美国人发明的，因此最早只有127个字母被编码到计算机里，也就是大小写英文字母，数字和一些符号，这个编码表被称为ASCII编码，例如，大写字母A的编码是65，小写字母z的编码是122。

 要处理中文，显然一个字节是不够的，至少需要两个字节，而且不能和ASCII编码冲突，所以中国制定了GB2312编码，用来把中文编进去。各国都有自己的编码，就导致编码混乱。

 Unicode应运而生了。Unicode把所有语言都统一到一套编码里，这样就不会有乱码问题了。

 Unicode标准不断发展，最常用的是用两个字节表示一个字符。现在操作系统和大多数编程语言都直接支持Unicode。

 下面来看ASCII编码和Unicode编码的区别：ASCII编码是1个字节（8位），而Unicode编码是2个字节（16位）。

 字母A用ASCII编码是十进制的48，二进制的01000001。其Unicode编码是00000000 01000001。

 本着节约的精神，又出现了把Unicode编码转化为”可变长编码”的UTF-8编码。UTF-8编码把一个Unicode字符根据不同的数字大小编码成1~6个字节。，常用的英文字母被编码成1个字节，汉字通常是3个字节。UTF-8编码有一个额外的好处，就是ASCII编码实际上可以看做是UTF-8编码的一部分。

 在计算机内存中，统一使用Unicode编码，当需要保存到硬盘或需要传输时，可以转换为UTF-8编码。

python3的编码

 python3中的默认编码是UTF-8，可以通过以下代码：

In[1]:  import sys

In[2]:  sys.getdefaultencoding()
Out[2]: 'utf-8'

 可以发现，python3的默认编码是UTF-8。基础编码是Unicode，各个编码的互相转换都要先转换成Unicode，然后通过Unicode再转换成想要的编码。

 python3中使用decode和encode函数来进行编码和解码：

str—>(encode)—>bytes，bytes—>(decode)—>str

 以下实例展示了decode()方法的实例：

#!/usr/bin/python3

str = "菜鸟教程";
str_utf8 = str.encode("UTF-8")
str_gbk = str.encode("GBK")

print(str)

print("UTF-8 编码：", str_utf8)
print("GBK 编码：", str_gbk)

print("UTF-8 解码：", str_utf8.decode('UTF-8','strict'))
print("GBK 解码：", str_gbk.decode('GBK','strict'))

 以上实例的输出结果如下：

菜鸟教程
UTF-8 编码： b'\xe8\x8f\x9c\xe9\xb8\x9f\xe6\x95\x99\xe7\xa8\x8b'
GBK 编码： b'\xb2\xcb\xc4\xf1\xbd\xcc\xb3\xcc'
UTF-8 解码： 菜鸟教程
GBK 解码： 菜鸟教程