Python 库学习 —— BeautifulSoup4学习

最新推荐文章于 2024-05-07 01:00:00 发布

老板来碗小面加蛋~

最新推荐文章于 2024-05-07 01:00:00 发布

阅读量694

点赞数

分类专栏： Python 文章标签： python beautifulS BeautifulSoup4 bs4

本文链接：https://blog.csdn.net/qq_39763246/article/details/118464503

版权

Python 专栏收录该内容

11 篇文章 55 订阅

订阅专栏

文章目录

系列文章
1、基本说明
2、进阶使用

系列文章

Python 学习 01 —— Python基础
 Python 库学习 —— urllib 学习
 Python 库学习 —— BeautifulSoup4学习
 Python 库学习 —— Re 正则表达式
 Python 库学习 —— Excel存储（xlwt、xlrd）
Python 学习 02 —— Python爬虫
 Python 库学习 —— Flask 基础学习
 Python 学习03 —— 爬虫网站项目

1、基本说明

BeautifulSoup4可以将复杂的HTML文档转换成复杂的树形结构，
其中每个节点都是Python对象，所有对象可分为四类：

Tag：网页的标签及其内容，但只能获取到匹配的第一个标签
NavigableString：标签的内容（字符串）。
BeautifulSoup：表示文档本身，直接打印会输出HTML源码。

Comment：表示这是注释。

下面举例说明：

本地项目有这么一个HTML文档：

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>这是标题</title>
</head>
<body>
    <div>
        <span><!-- 这是注释 --></span>
        <a href="https://www.baidu.com" name="baidu">这是指向百度的链接</a>
        <a href="https://www.douban.com" name="douban">这是指向豆瓣的链接</a>
    </div>
</body>
</html>

Python测试：

from bs4 import BeautifulSoup

# 以二进制方式打开HTML文档
file = open("./test.html", "rb")
# 读取字节流
html = file.read()
# 解析字节流文档，设置解析器为HTML。
bs = BeautifulSoup(html, "html.parser")

# 1. BeautifulSoup 代表整个文档本身。
print(type(bs))
print(bs)  # 输出HTML源码

# 2. Tag类型
print(type(bs.a))  # bs.a 是bs4.element.Tag对象
print(bs.a)  # 输出 <a href="https://www.baidu.com" name="baidu">这是指向百度的链接</a>

# 3. NavigableString类型
print(type(bs.a.string))  # bs.a.string 是bs4.element.NavigableString
print(bs.a.string)  # 输出 这是指向百度的链接

print(type(bs.a.attrs))  # bs.a.attrs是dict类型，以字典形式获取标签的属性
print(bs.a.attrs)  # 输出 {'href': 'https://www.baidu.com', 'name': 'baidu'}

# 4. Comment类型
print(type(bs.span.string))  # 此时是 bs4.element.Comment类型，而不是NavigableString
print(bs.span.string)  # 输出  这是注释 ，Comment表示内容是注释

2、进阶使用

下面是利用BeautifulSoup进行HTML文档遍历和搜索。

文档遍历：

# 文档的遍历
print("-" * 20, "文档遍历")
# contents：获取Tag的所有子节点，返回一个列表
print(bs.div.contents)
print(bs.div.contents[1])

# 其他还有很多遍历的属性，不过不怎么好用，通常使用搜索就行。

文档搜索

对标签进行搜索

# 方式1：查找与<a>完全匹配的内容，其中limit参数用于限定最多搜索多少个。
t_list = bs.find_all("a"，limit=3)
for item in t_list:
    print(item)

# 方式2：正则表达式搜索，最常用的方式，后面会详细讲解。
t_list = bs.find_all(re.compile("a"))  # 这里会搜索所有带 字母 a 的标签

# 方式3：传入一个函数，根据函数要求来搜索。（了解）
def name_is_exists(tag):
    # 这里是搜索含有name属性的标签
    return tag.has_attr("name")
t_list = bs.find_all(name_is_exists)

对标签参数进行搜索

t_list = bs.find_all(class_="first")  # 搜索 属性class="first"的标签
# 如果要搜索含有 class属性的，则条件为 class_=True 【因为class是关键字，所以有下划线】

搜索标签的文本内容

# 这里可以用正则表达式，例如 text=re.compile("\d")就是搜索包含数字的文本
t_list = bs.find_all(text="这是指向百度的链接")  # 这样是搜完全匹配的内容

bs4也支持类似于jQuery的选择器搜索。

# CSS选择器，类似于jQuery，把$换成了select而已
print("-" * 20, "选择器")
t_list = bs.select("title")  # 通过标签查找
t_list = bs.select(".first")  # 搜索类名 first
t_list = bs.select("#u1")  # 搜索 id=u1
t_list = bs.select("a[name='douban']")  # 通过属性搜索
t_list = bs.select("head > title")  # 通过子标签来查找，找head标签下的第一个title标签
t_list = bs.select(".class1 ~ .class2")  # 找类class1的兄弟标签，且兄弟标签类要为claas2
print(t_list[0].get_text())  # 获取其文本内容

老板来碗小面加蛋~

关注

0
点赞
踩
5

收藏

觉得还不错? 一键收藏
打赏
0
评论
Python 库学习 —— BeautifulSoup4学习

文章目录系列文章Python 第三方库——BeautifulSoup4学习1、基本说明2、进阶使用系列文章Python 学习 01 —— Python基础Python 第三方库 —— urllib 学习Python 第三方库——BeautifulSoup4学习Python 学习 02 —— Python爬虫Python 第三方库——BeautifulSoup4学习1、基本说明BeautifulSoup4可以将复杂的HTML文档转换成复杂的树形结构，其中每个节点都是Python对象，所有对
复制链接

扫一扫