本文详细介绍了Python的BeautifulSoup模块，用于HTML和XML文档的解析。讲解了如何导入模块、选择解析器，以及通过标签、属性、文本内容等进行文档操作。还提到了不同解析器之间的差异，并提供了使用示例，帮助理解BeautifulSoup在网页抓取中的应用。
什么是beautifulsoup:
是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航，查找，修改文档的方式。（官方）
beautifulsoup是一个解析器，可以特定的解析出内容，省去了我们编写正则表达式的麻烦。
这里我们用的是bs4：
1、导入模块：
from bs4 import beautifulsoup
2、选择解析器解析指定内容：
soup=beautifulsoup(解析内容,解析器)
常用解析器：html.parser,lxml,xml,html5lib
有时候需要安装安装解析器：比如pip3 install lxml
BeautifulSoup默认支持Python的标准HTML解析库，但是它也支持一些第三方的解析库：
解析器之间的区别（此处摘自官方文档）
Beautiful Soup为不同的解析器提供了相同的接口，但解析器本身时有区别的。同一篇文档被不同的解析器解析后可能会生成不同结构的树型文档。
区别最大的是HTML解析器和XML解析器，看下面片段被解析成HTML结构：
BeautifulSoup("<a><b /></a>")
# <html><head></head><body><a></a></body></html>因为空标签 <b />不符合HTML标准，所以解析器把它解析成
同样的文档使用XML解析如下(解析XML需要安装lxml库)。注意，空标签<b />依然被保留，并且文档前添加了XML头，而不是被包含在<html>标签内：
BeautifulSoup("<a><b /></a>", "xml")
# <?xml version="1.0" encoding="utf-8"?>
# <a><b/></a>HTML解析器之间也有区别，如果被解析的HTML文档是标准格式，那么解析器之间没有任何差别，只是解析速度不同，结果都会返回正确的文档树。
但是如果被解析文档不是标准格式，那么不同的解析器返回结果可能不同。下面例子中，使用lxml解析错误格式的文档，结果</p>标签被直接忽略掉了：
BeautifulSoup("<a></p>", "lxml")
# <html><body><a></a></body></html>使用html5lib库解析相同文档会得到不同的结果：
BeautifulSoup("<a></p>", "html5lib")
# <html><head></head><body><a><p></p></a></body></html>html5lib库没有忽略掉</p>标签,而是自动补全了标签,还给文档树添加了<head>标签.
使用pyhton内置库解析结果如下：
BeautifulSoup("<a></p>", "html.parser")
# <a></a>与lxml [7] 库类似的，Python内置库忽略掉了</p>标签，与html5lib库不同的是，标准库没有尝试创建符合标准的文档格式，或将文档片段包含在<body>标签内，与lxml不同的是标准库甚至连<html>标签都没有尝试去添加。
因为文档片段“<a></p>”是错误格式，所以以上解析方
最低0.47元/天 解锁文章
扫一扫
702
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
