爬虫学习笔记-beautifulsoup
Beautiful Soup 简介
Beautiful Soup 官方解释
Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换为utf-8编码。你不需要考虑编码方式,除非文档没有指定一个编码方式,这时,Beautiful Soup就不能自动识别编码方式了。然后,你仅仅需要说明一下原始编码方式就可以了。Beautiful Soup已成为和lxml、html6lib一样出色的python解释器,为用户灵活地提供不同的解析策略或强劲的速度。
Beautiful Soup 的导入与安装
Beautiful Soup 3 目前已经停止开发,而当前Beautiful Soup 4已经被移植到bs4了,也就是说导入时我们需要 import bs4 。
利用 pip 或者 easy_install 来安装,两种方法均可
easy_install beautifulsoup4
pip install bs4
Beautiful Soup 的解析器
解析器 | 使用方法 | 优势 | 劣势 |
---|---|---|---|
Python标准库 | BeautifulSoup(markup, “html.parser”)Python的内置标准库 | 执行速度适中,文档容错能力强 | Python 2.7.3 or 3.2.2)前的版本中文档容错能力差 |
lxml HTML 解析器 | BeautifulSoup(markup, “lxml”) | 速度快,文档容错能力强 | 需要安装C语言库 |
lxml XML 解析器 | BeautifulSoup(markup, [“lxml”, “xml”])BeautifulSoup(markup, “xml”) | 速度快,唯一支持XML的解析器 | 需要安装C语言库 |
html5lib | BeautifulSoup(markup, “html5lib”) | 最好的容错性,以浏览器的方式解析文档生成HTML5格式的文档 | 速度慢 |
安装lxml 和 html5lib:
1 easy_install lxml
2 pip install lxml
1 easy_install html5lib
2 pip install html5lib