更多内容请查看原文
在处理爬虫获取的网页之前,我们需要知道爬取网页的编码格式,然后才能正确的对其进行解码,编码成目标格式保存或者进行后续的文本处理。特别在是多语种环境下,正确获取网页编码格式尤为重要。
我们可以通过人工的方式查看网页源代码中的meta标签下的content属性,其中的charset表示网页的编码格式。所谓爬虫,其本质是自动化程序,那么怎么自动获取网页的编码格式?python的urlopen方法返回一个response对象,response的info方法可以返回与url相关的元信息,包括内容格式、长度等信息。如下图所示:
似乎接下来我们只要通过getparam(‘charset’)就可以顺利的得到网页编码格式了,但不幸的是,并不是所有服务器返回的元信息都包含charset,info中的信息取决于爬虫抓取的url所在服务器。另外,就算你确定你爬虫抓取的某几个服务器会返回charset信息,这也并不能保证网页的编码格式就一定和charset的一致。因此,最保险的做法是直接探测服务器返回文本的编码格式。我这里利用的是python中的chardet包。chardet的detect方法可以检测传入字符串的编码格式,同时给出检测准确度。