爬虫学习笔记-beautifulsoup/1

Beautiful Soup 简介

Beautiful Soup 官方解释

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。Beautiful Soup已成为和lxml、html6lib一样出色的python解释器，为用户灵活地提供不同的解析策略或强劲的速度。

Beautiful Soup 的导入与安装

Beautiful Soup 3 目前已经停止开发，而当前Beautiful Soup 4已经被移植到bs4了，也就是说导入时我们需要 import bs4 。

利用 pip 或者 easy_install 来安装，两种方法均可

easy_install beautifulsoup4  
pip install bs4  

Beautiful Soup 的解析器

解析器	使用方法	优势	劣势
Python标准库	BeautifulSoup(markup, “html.parser”)Python的内置标准库	执行速度适中,文档容错能力强	Python 2.7.3 or 3.2.2)前的版本中文档容错能力差
lxml HTML 解析器	BeautifulSoup(markup, “lxml”)	速度快,文档容错能力强	需要安装C语言库
lxml XML 解析器	BeautifulSoup(markup, [“lxml”, “xml”])BeautifulSoup(markup, “xml”)	速度快,唯一支持XML的解析器	需要安装C语言库
html5lib	BeautifulSoup(markup, “html5lib”)	最好的容错性,以浏览器的方式解析文档生成HTML5格式的文档	速度慢

安装lxml 和 html5lib:

1 easy_install lxml  
2 pip install lxml 

1 easy_install html5lib  
2 pip install html5lib  

html框架中的基本元素