字符与字节——UnicodeEncodeError与UnicodeDecodeError

字符与字节：计算机存储的一切数据，都是由一系列的01比特序列组成的，包括文本字符、图像、音视频、软件等等。8位01比特序列构成一个字节。而字符就是一个符号，如一个汉字、一个字母、一个标点。 通俗来说，字节是计算机的语言，字符是人的语言。如果想要让人和机器通信交流，就需要进行编码和解码。而编解码的一般套路大概就是：给待编码的目标集合（字符，或者其他任何符号、资源等）给定一个唯一ID，把这个ID对应的二进制保存下来，如此种种。

---

一、ASCII、Unicode、UTF-8、GBK是个什么鬼

这里引用一下知乎上盛世唐朝的回答，个人觉得还是比较通俗易懂的。

• 中国人民通过对ASCII编码的扩充改造，产生了GB2312编码，可以表示6000多常用汉字。
• 汉字实在是太多了，包括繁体和各种字符，于是产生了GBK编码，它包括了GB2312中的编码，同时又扩充了很多。
• 中国是个多民族国家，各个民族几乎都有自己独立的语言系统，为了表示那些字符，继续把GBK编码扩充为GB18030编码。
• 每个国家都像中国一样，把自己的语言编码，于是出现了各种各样的编码，如果你不安装相应的编码，就无法解释相应编码想表达的内容。
• 终于，有个叫ISO的组织看不下去了。他们创造了一种编码UNICODE，这种编码非常大，大到可以容纳世界上任何一个文字和标志。所以只要电脑上有UNICODE这种编码系统，无论全球哪种文字，只需要保存文件的时候，保存成UNICODE编码就可以被其他电脑正常解释。
• UNICODE在网络传输中，出现了两个标准UTF-8和UTF-16，，分别每次传输8个比特位和16个比特位。
• 有了UTF-8，为什么国内还有这么多使用GBK等编码的人？因为UTF-8等编码体积比较大，占用空间比较多，如果面向的使用人群绝大部分都是中国人，用GBK等编码也可以。

一言以蔽之，Unicode和GBK、ASCII同是字符集，用来表示字符（符号），前者的表达能力包括后两者；ASCII是最基本的单字节字符集，可直接存储和传输；而UTF-8只是Unicode字符集的一个标准，一种实现方式而已。

参考Unicode 和 UTF-8 有什么区别？ - 盛世唐朝的回答 - 知乎

如果用一幅图来表示的话，大概长成下面这样子：

二、encode和decode该用哪一个

编码（encode）就是将字符转化成字节序列的过程。反之，解码（decode）就是将字节序列转换成字符的过程。两者是一个互逆的过程，编码是为了存储传输，解码是为了显示阅读。

1、Python的编码为什么那么蛋疼？

原因有二。

其一是因为Python2使用ASCII字符编码作为默认编码方式，而ASCII不能处理中文。那为什么不用UTF-8呢？因为Guido老爹当年正式发布Python第一个版本的时候是1991年2月，而Unicode是1991年10月发布的。Python出生时，UTF-8还没出生。

其二是因为Python2把字符串的类型搞成两种，str和unicode，以致于大家经常被搞糊涂了。

2、str与unicode

Python2中字符串有str和unicode两种类型。str本质上是一串字节序列，由如下示例代码可以看出，str类型的”心“打印出来的是十六进制'\xe5\xbf\x83'。

>>> sys.stdin.encoding
'UTF-8'
>>> sys.stdout.encoding
'UTF-8'
>>> s = '心'
>>> type(s)
<type 'str'>
>>> s
'\xe5\xbf\x83'
>>>
复制代码

而unicode类型的u”心“对应的unicode符号是u'\u5fc3'。

>>> u = u'心'
>>> type(u)
<type 'unicode'>
>>> u
u'\u5fc3'
>>>
复制代码

实验环境为UTF-8。所以上述三个字节'\xe5\xbf\x83'即是“心”的utf-8编码的字节码。这里简单说明一下这种转换关系。

“心”的Unicode编码为u'\u5fc3'即U+5fc3，在 U+0800 和 U+FFFF 之间，我们把5fc3的二进制编码0101 1111 1100 0011依次替换到1110xxxx 10xxxxxx 10xxxxxx里的 x 位置上，不够的位置用 0 来补足。最终我们得到一串二进制数据11100101 10111111 10000011，即1110 0101 1011 1111 1000 0011，即\xe5\xbf\x83。

3、encode与decode的选择

我们要把unicode符号保存到文件或者传输到网络，此时需要进行编码将其转换成str类型，于是Python提供了encode方法，反之，则需要进行decode。

encode

>>> u = u'心'
>>> u
u'\u5fc3'
>>> u.encode('utf-8')
'\xe5\xbf\x83'
>>> 
复制代码

decode

>>> s = '心'
>>> s
'\xe5\xbf\x83'
>>> s.decode('utf-8')
u'\u5fc3'
>>> 
复制代码

在实验环境为UTF-8的条件下，字符串s默认用UTF-8进行编码，即s的字节码和u.encode('utf-8')的结果一致。 因此，我们可以得到下图。

总之，还是那句话，编码（encode）就是把字符（符号）转换成二进制数据的过程，因此unicode到str的转换要用encode方法，反过来就是用decode方法。

encoding always takes a Unicode string and returns a bytes sequence, and decoding always takes a bytes sequence and returns a Unicode string.

另外，由第一节字符与字节的关系我们知道，Unicode编码可以表示所有字符集，包括ASCII和GBK。因此，在使用encode/decode的时候一定要对应上相应的字符集，不然将可能会出现UnicodeEncodeError和UnicodeDecodeError。

三、UnicodeEncodeError和UnicodeDecodeError原因举例分析

UnicodeEncodeError

主要发生在unicode字符串转换成str字节序列的时候。例如，

>>> u = u'心'
>>> u.decode('gbk')
复制代码

错误日志

UnicodeEncodeError: 'ascii' codec can't encode character u'\u5fc3' in position 0: ordinal not in range(128)

为什么会出现UnicodeEncodeError呢？

因为decode是从二进制数据转换成符号的过程，因此，unicode类型字符串需要先转换成二进制数据，隐式调用了encode方法，并且使用了Python默认的ascii码来编码。而ascii字符集只包含了128个字符，不包括中文字符，因此出现了上述错误。

要解决该错误，则必须指定正确的编码规则来使用encode方法，如GBK。

>>> u = u'心'
>>> u.encode('gbk')
'\xd0\xc4'
>>> u.encode('gbk').decode('gbk')
u'\u5fc3'
>>> 
复制代码

其中'\xd0\xc4'是“心”字在GBK字符集中的编码（也可以理解为编号ID）。

UnicodeDecodeError

主要发生在str类型字节序列转换成unicode类型字符串的时候。例如，

>>> s = '心'
>>> s.encode('gbk')
复制代码

错误日志

UnicodeDecodeError: 'ascii' codec can't decode byte 0xe5 in position 0: ordinal not in range(128)

为什么会出现UnicodeDecodeError呢？

因为encode是从符号转换成二进制数据的过程，因此str类型字节序列需要先转换成符号，隐式调用了decode方法，并且使用了Python默认的ascii码来解码。而ascii字符集只包含了128个字符，不包括中文字符，因此出现了上述错误。如果用GBK来解码是否可以呢？比如直接执行s.decode('gbk')，答案是不可以。

要解决该错误，则必须指定正确的编码规则来使用decode方法，如UTF-8。

>>> s = '心'
>>> s.decode('utf-8').encode('gbk')
'\xd0\xc4'
>>> 
复制代码

参考blog.csdn.net/trochiluses…。

而如果涉及到UTF-8和GBK编码的相互转换，则只需遵循下图即可做到正确转换。本质上是借助了字符是不变的，而Unicode字符集中包括了GBK的所有字符这一基本事实。

为了避免出现UnicodeEncodeError/UnicodeDecodeError或者乱码的问题，encode和decode方法一定要成对使用，并且采用正确的字符集和编解码规则。 最佳实践是，建议采用”三明治“处理思想，仅在”出入口“进行encode/decode操作。

简单总结一下，本文粗略介绍了一下Unicode、GBK、ASCII以及UTF-8之间的关系；明确了字符与字节的关系；举例介绍了Encode/Decode使用时的注意事项；并举例分析了UnicodeEncodeError/UnicodeDecodeError产生的原因；总结了一些经验规则；然而，最重要还是文中的三张图。

转载于:https://juejin.im/post/5d04cf43f265da1bad57038d