Learn Beautiful Soup(6) —— BeautifulSoup中对于编码的支持

所有的网页都有一个自己的编码。UTF-8是目前网站的标准编码。所以，当爬取这些网页时，爬虫程序必须要能理解这些网页的编码。否则，很有可能你在网页上看到的是正确的字符，而爬取获得的结果却是乱码。而BeautifulSoup则能熟练的处理这些编码。

BeautifulSoup中的编码

一般在一个网页中，可以从charset这个属性中看到网页的编码：

<meta http-equiv="Content-Type" content="text/html;charset=UTF-8">

BeautifulSoup使用UnicodeDammit库来自动地检测文档的编码。BeautifulSoup创建soup对象时会自动地将内容转换为Unicode编码。

了解HTML文档的原始编码，soup.original_encoding会告诉我们文档的原始编码是什么。

指定HTML文档的编码，UnicodeDammit库会搜索整个文档然后来检测文档采取何种编码，这样一来浪费时间而且UnicodeDammit也有可能检测错误。如果知道文档编码是什么，那么可以在最初创建BeautifulSoup对象的时候就用from_encoding来指定文档的编码。

soup = BeautifulSoup(html_markup,"lxml",from_encoding="utf-8")

编码输出

BeautifulSoup中也有输出文本的方法。比如prettify()，将只会以UTF-8的编码方式输出。即使文档是其他类型的编码也照样UTF-8编码输出。

但是prettify()也可以指定其他编码格式输出：

print(soup.prettify("ISO8859-2")

我们同样可以用encode()来编码输出。encode()默认也是以UTF8编码。不过它同样可以指定编码方式输出。