爬虫网页编码及网页内容乱码处理

更多内容请查看原文
 在处理爬虫获取的网页之前，我们需要知道爬取网页的编码格式，然后才能正确的对其进行解码，编码成目标格式保存或者进行后续的文本处理。特别在是多语种环境下，正确获取网页编码格式尤为重要。

 我们可以通过人工的方式查看网页源代码中的meta标签下的content属性，其中的charset表示网页的编码格式。所谓爬虫，其本质是自动化程序，那么怎么自动获取网页的编码格式？python的urlopen方法返回一个response对象，response的info方法可以返回与url相关的元信息，包括内容格式、长度等信息。如下图所示：

 似乎接下来我们只要通过getparam(‘charset’)就可以顺利的得到网页编码格式了，但不幸的是，并不是所有服务器返回的元信息都包含charset，info中的信息取决于爬虫抓取的url所在服务器。另外，就算你确定你爬虫抓取的某几个服务器会返回charset信息，这也并不能保证网页的编码格式就一定和charset的一致。因此，最保险的做法是直接探测服务器返回文本的编码格式。我这里利用的是python中的chardet包。chardet的detect方法可以检测传入字符串的编码格式，同时给出检测准确度。