搞定Python编码问题

一、 Python字符串的编码

用 u’汉字’ 构造出来的是unicode类型，不用的话构造出来是str类型。
构造unicode类型字符串：

s1 = u'中文' #u表示用unicode编码方式储存信息
s2 = unicode('中文','gbk')

unicode是一个内置函数，第二个参数指示源字符串的编码格式。

str的编码是与系统环境相关的，一般就是sys.getfilesystemencoding()的值
从unicode转str，要用encode方法
从str转unicode，所以要用decode

s = u'中文' #unicode编码的文字
print s  # 以系统的编码类型输出，即sys.getfilesystemencoding()的值
print s.encode('utf-8')   #转换成utf-8格式输出 

import sys
print sys.getfilesystemencoding()  # 输出结果： UTF-8
u=u'unicode编码文字'
g=u.encode('gbk') #转换为gbk格式
print g #此时为乱码，因为当前环境为utf-8,gbk编码文字为乱码
str=g.decode('gbk').encode('utf-8')   #以gbk编码格式读取g（因为他就是gbk编码的）并转换为utf-8格式输出
print str #正常显示中文

通用、安全的输出中文字符串方法：

s.decode('gbk','ignore').encode('utf-8') #读取gbk编码格式的中文 并忽略错误的编码，转换成utf-8编码输出 

decode([encoding], [errors=’strict’])
可以用第二个参数控制错误处理的策略，默认的参数就是strict，代表遇到非法字符时抛出异常；
如果设置为ignore，则会忽略非法字符；
如果设置为replace，则会用?取代非法字符；
如果设置为xmlcharrefreplace，则使用XML的字符引用。

二、Python代码文件（就是你写代码的.py文件）编码

需要在代码文件的第一行或第二行添加编码指示：

# -*- coding:utf-8 -*-
############ 或是： ############
# coding=utf-8 ##以utf-8编码储存中文字符

或是：

import sys

reload(sys)
sys.setdefaultencoding('utf-8')

否则的话py文件不能显示中文，编译会报错：SyntaxError: Non-ASCII character。因为py文件默认是ASCII编码，中文在显示时会做一个ASCII到系统默认编码的转换。

三、Python 编码文件读写

使用codecs读写各种编码格式的文件

import codecs
with codecs.open('gbk.txt', 'r', 'gbk') as f:
    f.read() # u'\u6d4b\u8bd5'