Python 常见字符编码介绍-CSDN博客

本文转载于 https://www.cnblogs.com/schut/p/8406897.html

常见编码介绍一览表

编码	制定时间	作用	所占字节数
ASCII	1967年	表示英语及西欧语言	8bit/1bytes
GB2312	1980年	国家简体中文字符集，兼容ASCII	2bytes
Unicode	1991年	国标标准组织统一标准字符集	2bytes
GBK	1995年	GB2312的扩展字符集，支持繁体字，兼容GB2312	2bytes
UTF-8	1992年	不定长编码	1-3bytes

1. ASCII

ASCII（American Standard Code for Information Interchange，美国信息交换标准代码）是基于拉丁字母的一套电脑编码系统，主要用于显示现代英语和其他西欧语言。它是现今最通用的单字节编码系统，并等同于国际标准ISO/IEC 646。如下图所示：

由于计算机是美国人发明的，因此，最早只有127个字母被编码到计算机里，也就是大小写英文字母、数字和一些符号，这个编码表被称为 ASCII 编码，比如大写字母 A的编码是65，小写字母 a的编码是97。后128个称为扩展 ASCII 码。

2. GBK 和 GB2312

对于我们来说能在计算机中显示中文字符是至关重要的，然而ASCII表里连一个偏旁部首也没有。所以我们还需要一张关于中文和数字对应的关系表。一个字节只能最多表示256个字符，要处理中文显然一个字节是不够的，所以我们需要采用两个字节来表示，而且还不能和 ASCII 编码冲突，所以，中国制定了 GB2312 编码，用来把中文编进去。

3. Unicode

但如以来，就会出现一个问题，各个国家都一套自己的编码，就不可避免会有冲突，这是该怎么办呢？因此，Unicode 应运而生。Unicode 把所有语言都统一到一套编码里，这样就不会再有乱码问题了。

Unicode 标准也在不断发展，但最常用的是用两个字节表示一个字符（如果要用到非常偏僻的字符，就需要4个字节）。现代操作系统和大多数编程语言都直接支持 Unicode。　

现在，分析一下 ASCII 编码和 Unicode 编码的区别：

ASCII编码是1个字节，而 Unicode 编码通常是2个字节。字母A用 ASCII 编码是十进制的65，二进制的01000001；字符0用 ASCII 编码是十进制的48，二进制的00110000；汉字“中”已经超出了 ASCII 编码的范围，用 Unicode 编码是十进制的20013，二进制的01001110 00101101。如果把 ASCII 编码的A用 Unicode 编码，只需要在前面补0就可以，因此，A的 Unicode 编码是00000000 01000001。但如果统一成 Unicode 编码，乱码问题从此消失了。但是，如果你写的文本基本上全部是英文的话，用 Unicode 编码比 ASCII 编码需要多一倍的存储空间，在存储和传输上就十分不划算。

4. UTF-8

基于节约的原则，出现了把 Unicode 编码转化为“可变长编码”的 UTF-8 编码。 UTF-8 编码把一个 Unicode 字符根据不同的数字大小编码成1-6个字节，常用的英文字母被编码成1个字节，汉字通常是3个字节，只有很生僻的字符才会被编码成4-6个字节。如果你要传输的文本包含大量英文字符，用 UTF-8 编码就能节省空间了。如下所示：