Python 在ubuntu下报 UnicodeDecodeError: 'ascii'错误

首先明确的概念：

• 各种本地字符集的英文名字是：Coded Character Set，要转换成Coded，肯定是要encode了，同样，从里面解出来就需要decode了…
• decode就是把其他编码转换成unicode，等同于unicode函数；encode就是把unicode编码的字符串转换为特定字符。编码是 unicode -> str，相反的，解码就是 str -> unicode。
• UNICODE编码转换格式，就是用来指导如何将 unicode 编码成适合文件存储和网络传输的字节序列的形式 (unicode ->str)。像其他的一些编码方式 gb2312, gb18030, big5 和 UTF 的作用是一样的，只是编码方式不同。
• 从文件输入输出的时候是用 str 来表示数据的数组。不止是文件操作，在网络传输的时候应该也是这样的，这就是为什么一个unicode 字符串在写入文件或者在网络上传输的时候要进行编码的原因了。

关于文件开头的”编码指示”，也就是 # -*- coding: -*- 这个语句。Python 默认脚本文件都是 ANSCII 编码的，当文件中有非 ANSCII 编码范围内的字符的时候就要使用”编码指示”来修正。

关于 sys.defaultencoding，这个在解码没有明确指明解码方式的时候使用。比如我有如下代码：

> #! /usr/bin/env python
> # -*- coding: utf-8 -*-

> s = ‘中文’  # 注意这里的 str 是 str 类型的，而不是 unicode
> s.encode(‘gb18030′)

这句代码将 s 重新编码为 gb18030 的格式，即进行 unicode -> str 的转换。因为 s 本身就是 str 类型的，因此Python 会自动的先将 s 解码为 unicode ，然后再编码成 gb18030。因为解码是python自动进行的，我们没有指明解码方式，python 就会使用 sys.defaultencoding 指明的方式来解码。很多情况下 sys.defaultencoding 是ANSCII，如果 s 不是这个类型就会出错。拿上面的情况来说，我的 sys.defaultencoding 是 anscii，而 s 的编码方式和文件的编码方式一致，是 utf8 的，所以出错了:

> UnicodeDecodeError: ‘ascii’ codec can’t decode byte 0xe4 in position
> 0: ordinal not in range(128)

对于这种情况，我们有两种方法来改正错误：

一是明确的指示出 s 的编码方式

> #! /usr/bin/env python
> # -*- coding: utf-8 -*-

> s = ‘中文’
> s.decode(‘utf-8′).encode(‘gb18030′)

二是更改 sys.defaultencoding 为文件的编码方式

> #! /usr/bin/env python
> # -*- coding: utf-8 -*-

> import sys
> reload(sys) # Python2.5 初始化后会删除 sys.setdefaultencoding 这个方法，我们需要重新载入
> sys.setdefaultencoding(‘utf-8′)

> str = ‘中文’
> str.encode(‘gb18030′)

几个例子说明：

>>> a = “我”>>> b = unicode(a,”gb2312″)>>> a.__class__<type ‘str’>>>> b.__class__<type ‘unicode’>
看出来了吧，两种字符串。再来 >>> a‘\xce\xd2′>>> bu’\我′
变量a是两个字符，b是一个unicode字符。关于这两种字符串，Python文档–>Lang geReference–>DataModel–>The standard type hierarchy–>Seq nces，有一些Strings,Unicode的描述。 >>> z = u”我”>>> #这种代码，其实什么都不是。>>> z.__class__<type ‘unicode’>>>> zu’\xce\xd2′
decode就是把其他编码转换为unicode，等同于unicode函数；encode就是把unicode编码的字符串转换为特定编码。a是Str类型的，所以再用encode会报错。用print输出时会调用默认编码转换为系统编码？>>> a.decode(“gb2312″)u’\我′>>> print a.decode(“gb2312″)我>>> a.encode(“gb2312″)Traceback (most recent call last):File “<input>”, line 1, in ?UnicodeDecodeError: ‘ascii’ codec can’t decode byte 0xce in position 0: ordinal not in range(128)
b是unicode类型，打印时需要先encode(编码)成系统编码 >>> print b.encode(“gb2312″)我>>> b.encode(“gb2312″)‘\xce\xd2′>>> b.decode(“gb2312″)Traceback (most recent call last):File “<input>”, line 1, inUnicodeEncodeError: ‘ascii’ codec can’t encode character u’\我′ in position 0: ordinal not in     range(128
在Python中，可以对String调用decode和encode方法来实现转码。比如，若要将某个String对象s从gbk内码转换为UTF-8，可以如下操作s.decode(’gbk’).encode(’utf-8′)可是，在实际开发中，这种办法经常会出现异常：UnicodeDecodeError: ‘gbk’ codec can’t decode bytes in position 30664-30665: illegal multibyte seq nce这是因为遇到了非法字符——尤其是在某些用C/C++编写的程序中，全角空格往往有多种不同的实现方式，比如\xa3\xa0，或者\xa4 \x57，这 些字符，看起来都是全角空格，但它们并不是“合法”的全角空格（真正的全角空格是\xa1\xa1），因此在转码的过程中出现了异常。这样的问题很让人头疼，因为只要字符串中出现了一个非法字符，整个字符串——有时候，就是整篇文章——就都无法转码。下面是完美的解决办法：s.decode(’gbk’, ‘ignore’).encode(’utf-8′)因为decode的函数原型是decode([encoding], [errors='strict'])，可以用第二个参数控制错误处理的策略，默认的参数就是strict，代表遇到非法字符时抛出异常；如果设置为ignore，则会忽略非法字符；如果设置为replace，则会用?取代非法字符；如果设置为xmlcharrefreplace，则使用XML的字符引用。