Python编码问题

Python编码问题

1、常见的编码

GB2312

GB 码，全称是GB2312-80《信息交换用汉字编码字符集基本集》，1980年发布，是中文信息处理的国家标准，在大陆及海外使用简体中文的地区（如新加坡等）是强制使用的唯一中文编码。GB码共收录6763个简体汉字、682个符号，其中汉字部分：一级字3755，以拼音排序，二级字3008，以偏旁排序。该标准的制定和应用为规范、推动中文信息化进程起了很大作用。

GBK

GBK编码标准兼容GB2312，共收录汉字21003个、符号883个，并提供1894个造字码位，简、繁体字融于一库。 GBK的文字编码是用双字节来表示的，即不论中、英文字符均使用双字节来表示，为了区分中文，将其最高位都设定成1。GBK包含全部中文字符，是国家编码，通用性比UTF8差，不过UTF8占用的数据库比GBK大。

ASCII

ASCII 是一种字符集,包括大小写的英文字母、数字、控制字符等，它用一个字节表示，范围是 0-127 （00-7F）

UTF8

UTF-8：Unicode TransformationFormat-8bit，允许含BOM，但通常不含BOM。是用以解决国际上字符的一种多字节编码，它对英文使用8位（即一个字节），中文使用24为（三个字节）来编码。UTF-8包含全世界所有国家需要用到的字符，是国际编码，通用性强。UTF-8编码的文字可以在各国支持UTF8字符集的浏览器上显示。如，如果是UTF8编码，则在外国人的英文IE上也能显示中文，他们无需下载IE的中文语言支持包。 

Unicode

Unicode统一码万国码单一码是一种在计算机上使用的字符编码Unicode 是为了解决传统的字符编码方案的局限而产生的它为每种语言中的每个字符设定了统一并且唯一的二进制编码以满足跨语言跨平台进行文本转换处理的要求。 

编码之间的关系：

1、ASCII编码是UTF-8的子集

2、GB2312编码是GBK的子集

2、Python编码转换

1）decode & encode

字符串在Python内部的表示是 unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。 

decode的作用是将其他编码的字符串转换成unicode编码，如str1.decode('gb2312')，表示将gb2312编码的字符串str1转换成unicode编码。 

encode的作用是将unicode编码转换成其他编码的字符串，如str2.encode('gb2312')，表示将unicode编码的字符串str2转换成gb2312编码。 

未经转码的中文字符串不能直接print，否则报错：

1）[Decode error - output not cp936] （在有#coding=utf8条件下）

2）SyntaxError: Non-ASCII character '\xe8' in file （在没有#coding=utf8条件下）

2、代码中字符串的默认编码与代码文件本身的编码一致

如：s='中文'

如果是在utf8的文件中，该字符串就是utf8编码，如果是在gb2312的文件中，则其编码为gb2312。

这种情况下，要进行编码转换，都需要先用decode方法将其转换成unicode编码，再使用encode方法将其转换成其他编码。

通常，在没有指定特定的编码方式时，都是使用的系统默认编码创建的代码文件。 

如果字符串是这样定义：s=u'中文'

则该字符串的编码就被指定为unicode了，即python的内部编码，而与代码文件本身的编码无关。因此，对于这种情况做编码转换，只需要直接使用encode方法将其转换成指定编码即可。

如果一个字符串已经是unicode了，再进行解码则将出错，因此通常要对其编码方式是否为unicode进行判断：

isinstance(s, unicode)  #用来判断是否为unicode 

用非unicode编码形式的str来encode会报错

3、字符串编码格式判断

如果想知道某个字符串是何种编码可以： print str.__class__

如s=“中文”，结果：<type 'str'>

如s=u'中文'，结果：<type 'unicode'>

import sys
#coding=utf8  //指定本py文件内的所有字符都是utf8编码

#获取系统默认编码
print sys.getdefaultencoding()

s="中文" 

if isinstance(s, unicode): 
	#s=u"中文" 
	print s.encode('gb2312') 
else: 
	#s="中文" 
	print s.decode('utf-8').encode('gb2312')  //将utf8编码的“中文”转化为Unicode，然后转换为GB2312编码（也可转化为GBK）

4、字符串编码格式检测

<pre name="code" class="python">import chardet
rawdata = urllib.urlopen('http://url').read()
print chardet.detect(rawdata)

如果想修改系统默认的编码为utf8编码可以：

import sys
reload(sys)
sys.setdefaultencoding('utf-8')