阿宁的python学习-----python常见字符编码及其转换

一、python常见字符编码

字符编码

目前使用的编码方式有：ASCII码（一个字节）、Unicode码（两个字节）、UTF-8码（可变长的编码）。我们已经知道了，字符串也是一种数据类型，但是，字符串比较特殊的是还有一个编码问题。

ASCLL码

ASCII（American Standard Code for Information Interchange，美国信息交换标准代码）是基于拉丁字母的一套电脑编码系统，主要用于显示现代英语和其他西欧语言。它是现今最通用的单字节编码系统，并等同于国际标准ISO/IEC 646。

Unicode

unicode 常用2个字节（16位二进制）代表一个字符，生僻字需要用4个字节。unicode 兼容 ascii，例如：小写字母x，用 ascii 表示是 0111 1000（二进制），使用 unicode 表示 为 0000 0000 0111 1000（二进制），可见 两者的值一致，只是使用 unicode 表示使用了2个字节，而是用 ascii 表示仅使用了一个字节，存储空间多了一倍~

unicode 中存放了与其他编码的映射关系，所以 unicode 可以兼容 万国字符。“unicode 中存放了与其他编码的映射关系” 这句话是不是不好理解，简单的说就是，unicode 编码 可以转为 其他编码，例如gbk、Shift_JIS等，其他的编码也可以通过 unicode 中存在的映射关系 转为 unicode 编码，

>>> x = '\u4eba'                # unicode 码
>>> x
'人'
>>> x.encode('gbk')         # 转为 gbk 编码
b'\xc8\xcb'

>>> b'\xc8\xcb'.decode('gbk')    # gbk 编码转为 unicode 码
'人'

GBK 和 GB2312
对于我们来说能在计算机中显示中文字符是至关重要的，然而ASCII表里连一个偏旁部首也没有。所以我们还需要一张关于中文和数字对应的关系表。一个字节只能最多表示256个字符，要处理中文显然一个字节是不够的，所以我们需要采用两个字节来表示，而且还不能和ASCII编码冲突，所以，中国制定了GB2312编码，用来把中文编进去。

UTF-8

基于节约的原则，出现了把Unicode编码转化为“可变长编码”的UTF-8编码。UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6个字节，常用的英文字母被编码成1个字节，汉字通常是3个字节，只有很生僻的字符才会被编码成4-6个字节。如果你要传输的文本包含大量英文字符，用UTF-8编码就能节省空间了。如下所示：

从上面的表格还可以发现，UTF-8编码有一个额外的好处，就是ASCII编码实际上可以被看成是UTF-8编码的一部分，所以，大量只支持ASCII编码的历史遗留软件可以在UTF-8编码下继续工作。
一部分，所以，大量只支持ASCII编码的历史遗留软件可以在UTF-8编码下继续工作。