python编码程序_python 编码

网页的编码方式是简体中文gb2312 (查看网页源码，可以看到)，而python内部的编码方式为unicode，之前的代码是这样的：

contentAll = urllib.urlopen(urlLink).read()

soup = BeautifulSoup.BeautifulSoup(contentAll)  #生成BeautifulSoup对象

经过url定位得到html的document对象之后，此时的编码方式为网页文本的编码方式gb2312，

因此在将contentAll送进去生成BeautifulSoup对象之前必须对其进行解码(decode)为unicode，使用的code为gb2312，修改后的代码如下所示：

contentAll = urllib.urlopen(urlLink).read()

soup = BeautifulSoup.BeautifulSoup(contentAll.decode('gb2312','ignore'))  #生成BeautifulSoup对象

解码的时候加上ignore参数是因为解码过程中有一部分貌似不能正常解码，加上该参数之后能跳过该部分。

1 源文件编码

在文件头部使用coding声明。告诉python解释器该代码文件所使用的字符集。

#/usr/bin/python

#coding: utf8

2 内部编码

代码文件中的字符串，经过decode以后，被转换为统一的unicode格式的内部数据，类似于u''*''。unicode数据可以使用encode函数，再自由转换为其他格式的数据，相当于一个统一的平台。

直接输入unicode数据

>>> u''你好''

u''/u4f60/u597d''

将unicode数据转换为gb2312格式

>>> u''你好''.encode(''gb2312'')

''/xc4/xe3/xba/xc3''

将输入的gb2312格式的数据解码为unicode

>>> ''你好''.decode(''gb2312'')

u''/u4f60/u597d''

输入数据的格式取决于所用shell终端的编码设置，本例中为zh_CN

[root@chenzheng python]# echo $LANG

zh_CN

解码同时转换为utf8

>>> ''你好''.decode(''gb2312'').encode(''utf8'')

''/xe4/xbd/xa0/xe5/xa5/xbd''

3 外部输入的编码

其实这个和在python交互shell中输入的字符串，所遇到的情况基本一样。但程序中常常用到从网络，文件读取的数据，故此单独列出，需要特别注意其编码格式是否于系统要求相符。

由于xml.etree.EelementTree.parse()不识别gb2312编码，在解析的时候，需要将其转换utf8格式才可以，可以使用下面的函数

def read_page(url):

"""读取gb2312编码的xml文件，转换为utf8格式"""

import urllib

udata = urllib.urlopen(url).read().decode(''gb2312'')

u8data = udata.encode(''utf8'')

return u8data.replace(''gb2312'', ''utf-8'') #简单替换xml文件第一行的encoding属性值

另外，可以使用一个小函数来判断数据的编码格式：

def encoding(s):     cl = [''utf8'', ''gb2312'']     for a in cl:         try:             s.decode(a)             return a         except UnicodeEncodeError:             pass     return ''unknown''