python2中unicode对象与字节流对象的编码问题

在网上看了三天的python2的编码问题，从最初的晕晕乎乎到后来的彻底晕倒 ( 毕竟写博客的人不一定理解，理解的不一定写的对，写的对的不一定表达的清楚 ) 又到后来的明了，如果这篇文章有幸被你读到了，希望没能误导你

首先推荐别人家的文章

http://www.cnblogs.com/ymy124/archive/2012/06/23/2559282.html

http://blog.csdn.net/pipisorry/article/details/44136297

(1) .py文件的保存格式

咱们在编写python代码的时候，保存的.py文件的格式一般要与文件头部声明的#coding=utf-8格式相同

这是在告诉python解释器用什么编码去解读你写的文章(代码)

如果你的.py文件格式是gbk格式存储的，你在文件的头部写#coding=ASCII，那么python解释器会根据ASCII的规则是解读这个gbk格式的文件，明显"读不懂"啊，这时候往往会报SyntaxError: Non-ASCII character这个错误

(2) 声明 字符(unicode)/字节流 对象

在python2中要牢记unicode对象!

#coding=utf-8

#声明一个unicode对象
a = u'好'
print len(a)
print a
#声明一个utf-8格式编码的字节流对象
b = '好'
print len(b)
print b

在中文版的windows控制台(默认GBK编码)下执行结果

1
好
3
濂

a = u'好'  表示声明一个unicode对象，传给print函数后，print函数会根据当前的环境自动的把这个unicode对象进行编码并输出，当前是在windows控制台下运行的程序，所以print函数自动的将a这个unicode对象进行GBK编码，成为GBK格式的字节流，然后输出给控制台

b = '好'   表示声明一个utf-8格式的字节流对象，这里的utf-8格式是根据#coding=utf-8这句话决定的，输出到控制台之所以出现"濂"是因为程序送给控制台的字节流是utf-8编码的，而当前控制台显示默认使用的是gbk编码

通过上面的len()函数的结果可以看到

len(unicode对象) 会得到真实的字符串的长度 ( 字符串其实是一个抽象的概念 )

len(各种编码的字节流对象) 会得到这个字节流对象使用的字节数

也就是说咱们传统意义上的字符在python2中是以unicode对象来表示的，神奇吧，换句话说:python2中的unicode对象就相当于java中的String对象，字节流对象就相当于java中的byte[]数组

python3中做出了很大的改变，这里仅说python2

unicode对象是万物之基础，是各种编码之间转换的桥梁，如果一个utf-8编码的字节流想转换成gbk格式的，需要先将这个utf-8格式的字节流解码(decode)为unicode对象，然后对unicode对象进行编码(encode)成为gbk格式的字节流对象

#coding=utf-8
utf8ByteObj = '你好'
unicodeObj = utf8ByteObj.decode('utf-8')
gbkByteObj = unicodeObj.encode('gbk')

其实还可以对字节流对象进行encode

例如:

#coding=utf-8
a = '你好' # a为utf-8编码的字节流对象
b = a.encode('gbk')

这样的话，实际上是 b = a.decode( defaultcoding ).encode('utf-8')

在python2中defaultcoding默认是ASCII，所以程序会报UnicodeDecodeError: 'ascii' codec can't decode byte ......这样的错误

声明一个unicode对象除了使用 a = u'你好' 这样的方式，还可以使用 a = unicode('你好','utf-8')这样的方式

后者为什么还需要传递一个utf-8格式的参数呢？

可以这样理解

a = u'你好' 解释器会根据当前.py文件的#coding=utf-8格式来将"你好"代表的字节流对象解码为unicode对象，而a = unicode('你好','utf-8')是调用了一个函数，这个函数在python的内置库里面，如果不传递第二个参数，函数会按照内置库的.py文件的存储格式来解码"你好"代表的字节流对象

python2的源码.py文件的默认编码方法是ASCII

python3的源码.py文件的默认编码方式是UTF-8

我们举个例子：

#coding=utf-8

a = unicode('你好')

会报错：UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)

因为调用unicode()函数的时候没有指定编码，python2中系统默认使用ACSII去解码  用UTF-8编码的"你好" 这个字节流对象，所以会报错

通过设置sys.setdefaultencoding可以设置python系统默认使用的编码，不过会引发一系列的问题，不推荐使用。

而且设置sys.setdefaultencoding还需要这样

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

为什么还要reload一下呢，具体原因请去google吧，这是另一个问题了。

(3) 其他

[1] 编码检测包chardet

import chardet
f = open('file','r')
fencoding=chardet.detect(f.read())
print fencoding

fencoding输出格式 {'confidence': 0.96630842899499614, 'encoding': 'GB2312'} ，只能判断是否为某种编码的概率。比较准确的结果了。输入参数为字节流对象

[2]codecs模块:自然语言编码转换

#coding=utf-8
import codecs,sys

# 基本操作
look = codecs.lookup( 'gbk' )
look2 = codecs.lookup( 'utf-8' )
a = '你好'
unicodeObj = look2.decode(a)
gbkByteObj = look.encode(unicodeObj)

# 对文件的操作
file = codecs.open('xxx.txt','r','gbk')
unicodeObj = file.read()