对获取的网页进行正则匹配，关于编码的问题

问题

  在做练习的时候，使用urllib爬取了一个网页，想使用正则表达式搜索一个html标签时，却发现怎么也搜索不到

>>> import  urllib,re
>>> opener = urllib.URLopener()
>>> yzw = opener.open('http://yz.chsi.com.cn/yzzt/kyfs2018')
>>> page = yzw.read()
>>> re.findall('厦门大学',page)
[]

但是我print page后发现确实有厦门大学这几个字：

然后用in试了试

>>> 'html' in page
True
>>> '大学' in page
False

也就是说，文档中的英文能搜索到，中文却不行，那估计就是编码问题了

解决

安装chardet模块用于检测编码，cmd中运行pip install chardet，等待安装完毕

#检测编码，根据encoding的值发现解释器中的中文编码与下载的页面编码不同
>>> chardet.detect('厦门大学')
{'confidence': 0.3778122726379716, 'language': 'Thai', 'encoding': 'TIS-620'}
>>> chardet.detect(page)
{'confidence': 0.99, 'language': '', 'encoding': 'utf-8'}

发现二者编码并不相同，那我把它转成相同的编码进行搜索试试

>>> re.findall('厦门大学'.decode('TIS-620').encode('utf-8'),page)
[]

发现还是不成功，其实是chardet.detect()函数判断错误了，当传给此函数检测的内容越多时，检测的结果越准确

>>> chardet.detect(这里是较长的中文字符串)
{'confidence': 0.99, 'language': 'Chinese', 'encoding': 'GB2312'

看见这熟悉的GB2312了，那再试试

>>> re.findall('厦门大学'.decode('gb2312').encode('utf-8'),page)
['\xe5\x8e\xa6\xe9\x97\xa8\xe5\xa4\xa7\xe5\xad\xa6', '\xe5\x8e\xa6\xe9\x97\xa8\xe5\xa4\xa7\xe5\xad\xa6']

终于搜索到了！

总结

  出问题的根源在与解释器的中文是用GB2312编码的，而下载下来的页面是用utf-8编码的，导致不能成功的搜索，使用chardet模块检测二者的编码后，再转码，再搜索就可以了

#先转换成与待匹配字符串相同的编码
pattern = '<td>(.*?)厦门大学.*?</td>'
pattern = pattern.decode('GB2312').encode('utf-8')

#进行匹配...