总结python中的乱码问题

首先要知道,字符串在Python内部的表示是unicode编码(万国码),因此,在做编码转换时,通常需要以unicode作为中间编码,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。

python编码有两种数据模型来支持字符串类型 一种是str 一种是unicode。

s=”中文” 为str类型的字符串
u=u”中文” 为unicode类型的basestring

首先str 需要先decode(解码)成为unicodestr->decode->unicode
然后将unicode通过encode(编码)成为strunicode->encode->str

解释一下decodeencode
decode

decode的作用是将其他编码的字符串转换成unicode编码,如str1.decode(‘gb2312’),表示将gb2312编码的字符串str1转换成unicode编码。

encode

encode的作用是将unicode编码转换成其他编码的字符串,如str2.encode(‘gb2312’),表示将unicode编码的字符串str2转换成gb2312编码。

因此,转码的时候一定要先搞明白,字符串str是什么编码,然后decode成unicode,然后再encode成其他编码

代码中字符串的默认编码与代码文件本身的编码一致,至于如何查看网页的编码方式可以查看博客说明

如:s=’中文’
如果是在utf8的文件中,该字符串就是utf8编码,如果是在gb2312的文件中,则其编码为gb2312。这种情况下,要进行编码转换,都需要先用decode方法将其转换成unicode编码,再使用encode方法将其转换成其他编码。通常,在没有指定特定的编码方式时,都是使用的系统默认编码创建的代码文件。

如果字符串是这样定义:s=u’中文’

则该字符串的编码就被指定为unicode了,即python的内部编码,而与代码文件本身的编码无关。因此,对于这种情况做编码转换,只需要直接使用encode方法将其转换成指定编码即可。

如果一个字符串已经是unicode了,再进行解码则将出错,因此通常要对其编码方式是否为unicode进行判断:
isinstance(s, unicode) #用来判断是否为unicode
用非unicode编码形式的str来encode会报错

在python的头部需要声明默认的编码方式: #-- coding:utf-8 -- (或者是#coding=utf-8) ->(文中若有用到非ascii字符时则用)

大致思路:
乱码->unicode中转码->我们需要的编码方式
decode()->unicode->encode转化为需要的格式

举例:
content为从文件中读取的gbk编码的内容,我们通过以上方法输出该内容。
print content.decode(‘gbk’).encode(‘utf-8’)
这里的decode方法将content内容转为unicode格式
这里的encode方法将unicode格式的数据转化为自己所需要的编码方式。

另外,在爬取网页的时候经常会遇到乱码,但是我们可以通过查看网页的源代码查看charset方式,也可以通过python编程获得网页的编码方式

下面就拿爬取百度首页来讲解一下:

方法一:

>import urllib2
>url="http://www.baidu.com"
>data=urllib2.urlopen(url).read()
>print data.decode('utf-8','ignore').encode('gbk','ignore')

这里使用的是python的urllib2模块读取百度首页的html

方法二:

>from bs4 import BeautifulSoup
>url="http://www.baidu.com"
>content=urllib2.urlopen(url)
>soup=BeautifulSoup(content,from_encoding="utf-8")
>print soup.encode('gbk')

这里是使用的python的BeautifulSoup模块及urllib2模块。
from_encoding=”utf-8”为该打开的网页的charset方式,encode(’gbk’)为你想要转换成的编码方式。

注意:

s.decode(“utf-8”, “ignore”) 忽略其中有异常的编码,仅显示有效的编码
s.decode(“utf-8”, “replace”) 替换其中异常的编码,这个相对来可能一眼就知道那些字符编码出问题了。

  • 0
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值