总结python中的乱码问题

首先要知道，字符串在Python内部的表示是unicode编码(万国码)，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。

python编码有两种数据模型来支持字符串类型 一种是str 一种是unicode。

s=”中文” 为str类型的字符串
u=u”中文” 为unicode类型的basestring

首先str 需要先decode(解码)成为unicode ，str->decode->unicode
然后将unicode通过encode(编码)成为str， unicode->encode->str

解释一下decode和encode：
decode：

decode的作用是将其他编码的字符串转换成unicode编码，如str1.decode(‘gb2312’)，表示将gb2312编码的字符串str1转换成unicode编码。

encode：

encode的作用是将unicode编码转换成其他编码的字符串，如str2.encode(‘gb2312’)，表示将unicode编码的字符串str2转换成gb2312编码。

因此，转码的时候一定要先搞明白，字符串str是什么编码，然后decode成unicode，然后再encode成其他编码

代码中字符串的默认编码与代码文件本身的编码一致，至于如何查看网页的编码方式可以查看博客说明。

如：s=’中文’
如果是在utf8的文件中，该字符串就是utf8编码，如果是在gb2312的文件中，则其编码为gb2312。这种情况下，要进行编码转换，都需要先用decode方法将其转换成unicode编码，再使用encode方法将其转换成其他编码。通常，在没有指定特定的编码方式时，都是使用的系统默认编码创建的代码文件。

如果字符串是这样定义：s=u’中文’

则该字符串的编码就被指定为unicode了，即python的内部编码，而与代码文件本身的编码无关。因此，对于这种情况做编码转换，只需要直接使用encode方法将其转换成指定编码即可。

如果一个字符串已经是unicode了，再进行解码则将出错，因此通常要对其编码方式是否为unicode进行判断：
isinstance(s, unicode) #用来判断是否为unicode
用非unicode编码形式的str来encode会报错

在python的头部需要声明默认的编码方式： #-- coding:utf-8 -- (或者是#coding=utf-8) ->（文中若有用到非ascii字符时则用）

大致思路：
乱码->unicode中转码->我们需要的编码方式
decode（）->unicode->encode转化为需要的格式

举例：
content为从文件中读取的gbk编码的内容，我们通过以上方法输出该内容。
print content.decode(‘gbk’).encode(‘utf-8’)
这里的decode方法将content内容转为unicode格式
这里的encode方法将unicode格式的数据转化为自己所需要的编码方式。

另外，在爬取网页的时候经常会遇到乱码，但是我们可以通过查看网页的源代码查看charset方式，也可以通过python编程获得网页的编码方式。

下面就拿爬取百度首页来讲解一下：

方法一：

>import urllib2
>url="http://www.baidu.com"
>data=urllib2.urlopen(url).read()
>print data.decode('utf-8','ignore').encode('gbk','ignore')

这里使用的是python的urllib2模块读取百度首页的html

方法二：

>from bs4 import BeautifulSoup
>url="http://www.baidu.com"
>content=urllib2.urlopen(url)
>soup=BeautifulSoup(content,from_encoding="utf-8")
>print soup.encode('gbk')

这里是使用的python的BeautifulSoup模块及urllib2模块。
from_encoding=”utf-8”为该打开的网页的charset方式，encode（’gbk’）为你想要转换成的编码方式。

注意：

s.decode(“utf-8”, “ignore”) 忽略其中有异常的编码，仅显示有效的编码
s.decode(“utf-8”, “replace”) 替换其中异常的编码，这个相对来可能一眼就知道那些字符编码出问题了。