本文介绍了Beautiful Soup库，一个用于解析HTML和XML的工具，它简化了数据提取过程。内容包括四大对象（BeautifulSoup、Tag、NavigableString、Comment）的解释，使用方法以及通过find、find_all方法和CSS选择器进行查找的实例。
1. 什么是Beautiful Soup
bs4是一个HTML/XML的解析器，主要的功能是解析和提取HTML/XML数据，它提供了多种查找和定位元素的方式, 实现了惯用的方式查找和定位元素，从而节省了大量的工作时间，提高了开发项目的效率。
四大对象
bs4库会将复杂的HTML文档换成树结构（HTML DOM），这个结构中的每个节点都是一个Python对象，这些对象可以归纳为如下四种
- bs4.BeautifulSoup类：表示HTML DOM中的全部内容，支持遍历文档树和搜索文档树的大部分方法。
- bs4.element.Tag类：表示HTML中的标签，最基本的信息组织单元。它有两个非常重要的属性，分别为表示标签名字的name属性，表示标签属性的attrs属性
- bs4.element.NavigableString类：表示HTML中标签的文本字符串（非属性字符串）。
- bs4.element.Comment类：表示标签内字符串的注释部分，是一种特殊的NavigableString对象。
使用
- 首先安装bs4
pip install bs4
- 如果安装时候总是Retry可以修改pip源进行安装:
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple bs4
注意: 如果pip是安装在python2上了, 可以使用pip3安装到python3上.
# 导入BeautifullSoup
from bs4 import BeautifulSoup
# 准备html字符串数据
html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
# 四大对象
# 1. bs4.BeautifulSoup类：表示HTML DOM中的全部内容，支持遍历文档树和搜索文档树的大部分方法。
# 根据文档字符串创建BeautifulSoup对象性
bs = BeautifulSoup(html, 'xml')
# print(bs)
print(type(bs)) # <class 'bs4.BeautifulSoup'>
# 2. bs4.element.Tag类：表示HTML中的标签，最基本的信息组织单元。它有两个非常重要的属性，分别为表示标签名字的name属性，表示标签属性的attrs属性。
# 获取标签
# 获取文档第一个title标签
print(bs.title)
print(type(bs.title)) # <class 'bs4.element.Tag'>
# 获取文档第一个p标签
print(bs.p)
# 获取文档中第一个a标签
print(bs.a)
# 打印a标签的标签名
print(bs.a.name)
# 打印a上的所有属性
print(bs.a.attrs)
# 3. bs4.element.NavigableString类：表示HTML中标签的文本（非属性字符串）。
# NavigableString 是str与PageElement的子类, 有
最低0.47元/天 解锁文章
9193
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
