问题描述:在用urllib解析网页的时候,有时候的编码并不是网页中的编码(如下)。
<meta http-equiv="Content-Type" content="text/html; charset=gbk" />
解决过程
尝试检查编码
import chardet
req = urllib2.Request(url)
data = urllib2.urlopen(req).read()
det = chardet.detect(data)
###{'confidence': 0.511502818949318, 'encoding': 'ISO-8859-2'}
我们可以看到编码是西欧的编码(可自己百度百科),不是我们想要的,接下来就是查各种资料。
答案
通过查资料,找到了一个解决方法,尝试成功,
data = urllib2.urlopen(req).read().decode('gbk','ignore').encode('utf-8')
原因
刚找到了问题所在,这是因为html中混入了非法字符,导致chardet.detect(data)辨认错误
直接decode(‘gbk’,’ignore’).encode(‘utf-8’)应该就可以解决