Python3 文字编码的处理

首先我们理解一下什么是文字编码？为什么会乱码？
通俗的来讲，文字编码就是字符在计算机中的存储形式，不同的文字编码的存储形式有所不同，相同字符占用的空间也可能不一样；打一个不太恰当的比喻，各国的语言，虽然可能表达的是同一个意思，但是字符的形状和发音完全不同，这也就能够理解为什么会乱码了，在没有翻译的情况下，不同的语言当然不是互通的；那么乱码就是，当我们使用这段字符的时候，没有使用这段字符的编码格式，那么意思当然是不对的。

Python3在内存中是使用Unicode编码格式的，注意这里指的是在内存中，如果需要将这段字符进行存储，可能转换成了其他格式；同理，我们在爬取网页内容，一般是utf-8编码格式，这时中文字符可能会显示不出，我们就需要转换成符合的编码格式进行传输和存储。

这里还有一个字节码的概念，那么什么是字节码呢？
首先字节是数据存储的单位，一般来讲一个英文字符占用一个字节，一个中文字符占用两个字节存储；字节码就是以字节形式表示的编码，可以理解成是一个中间码；
首先必须要理解的一个概念：字符、图片是没有办法直接存储的，它肯定是转换成一个0101代码存储在存储器中的，当我们想要使用这张图片的时候，再将0101代码进行解码，恢复图片本来的面目；那么中间码就是这个0101代码，它更像是序号，一个字符对应一个序号，然后有一个字典，通过序号在这个字典中找到对应的字符，然后拿来使用就好了；
字符串通过编码转换成了字节码，字节码解码转换成了字符串。

什么是ASCII码？
由于最早计算机是美国发明的，对于他们来讲只需要有26个英文字母加上10个数字就基本够用了，因此最早的字符编码只有128个（大小写英文字母、数字、特殊字符和一些控制符）。
那么问题来了，为什么是128个？这是因为最早采用一个字节（8bit）来存储字符，2^7=128，最高位为奇偶校验位。
对于老外来讲，他们只需要128个字符就能够满足需求，我们华夏文明又岂能用这区区128个位装下，所以我们提出了我们自己的文字编码标准，使用的最广泛的是GB2312，就是我们中文字符编码格式；但是每种语言一种编码格式就太繁琐了，所以就需要Unicode编码做一个整合，这样我们在使用的时候都按一套标准来，这样就不会出现乱码的问题了。

Unicode编码
Unicode编码将所有的字符集都整合在了一起，这样大家都使用同一个标准，就不存在乱码的问题，ASCII编码使用1个字节表示字符，Unicode编码一般用两个字节表示字符。
编码统一了固然是好，但是需要思考一个问题，我本来存放一个‘a’只需要一个字节，现在需要两个了，Unicode编码比ASCII编码多一倍的存储空间，这样必然会造成空间的浪费，那么有什么办法可以解决呢？

UTF-8编码
UTF-8编码是一种可变长编码，根据Unicode编码对应字节码的大小，一般讲英文字符编码成一个字节，汉字通常是三个字节左右，这样当我们需要处理的字符串有大量英文字符的时候就能节省不少空间了。

一般来讲，字符的时候，读取到内存中，统一使用Unicode编码，但是但需要存储和传输的时候，就会转换成UTF-8进行存储和传输；在Python中，用encode指明保存使用的编码，用decode指明读取时使用的编码。