最近有这样一个需求,需要抓在百度搜出来的各种网站,用urllib2获取的html页面各种乱码。
于是我便有2种解决方法。
1,自己写decode 和encode ,从response head里获取charset,然后用charset的编码 decode,然后encode成操作系统文件系统的编码(windows是gbk,linux是utf8),中间发现个库chardet[https://pypi.python.org/pypi/chardet],貌似python3 已经里自带了,2里没有,可以很方便的检验字符的编码,对于一些获取charset为null可以用此判断。
2,更简单的方法,将获取的html(未知编码)直接交给beautifulsoup prettfy一下。
html =urllib2.urlopen(url).read() # use beautifulsoup 格式化 soup = BeautifulSoup(html) # print 出想要的encoding print(soup.prettify("gbk"))
然后顺便研究了下python的编码问题。
#话说python3的可以不用看下去了,python3和java差不多了,只有str和byte存在了。 #repr将print python内部处理时的编码,由此可见python2,内部编码并不是unicode >>> unicode('我','utf8') u'\u6211' >>> repr('我') "'\\xe6\\x88\\x91'" # 同上 >>> repr(u'\u6211'.encode('utf8')) "'\\xe6\\x88\\x91'" >>> u'\u6211'.encode('utf8') #'\xe6\x88\x91' >>> print u'\u6211'.encode('utf8') #我 # 不管是gbk还是utf8编码的str他们的 unicode 相同 >>> unicode('我','utf8') #u'\u6211' >>> unicode('我'.decode('utf8').encode('gbk'),'gbk') #u'\u6211' #由此可见 一样的unicode 不同的encoding,其内置编码不同 >>>s1 = '联系' >>>s2 = '联系'.decode('utf8').encode('gbk') >>>repr(s1) #'\xe8\x81\x94\xe7\xb3\xbb' >>>repr(s2) #'\xc1\xaa\xcf\xb5'