BeautifulSoup文档3-详细方法 | 如何对文档树进行遍历？

于 2023-04-25 20:11:29 发布
阅读量176 收藏
点赞数
分类专栏： 程序员 软件测试 职场日常 文章标签： beautifulsoup python java 职场和发展 自动化测试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67695717/article/details/130372316
版权
软件测试 同时被 3 个专栏收录
2575 篇文章 103 订阅
订阅专栏
程序员
1257 篇文章 7 订阅
订阅专栏
职场日常
215 篇文章 2 订阅
订阅专栏

以下实例还是官网的例子：

html_doc = """
<html><head><title>The Dormouse's story</title></head>
    <body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, 'html.parser')

1 子节点

1.1 tag的名字

1.1.1 获取head标签

# 获取head
print(soup.head)
输出为：
<head><title>The Dormouse's story</title></head>

1.1.2 获取title

# 获取title
print(soup.title)
输出为：
<title>The Dormouse's story</title>

1.1.3 获取body标签中的第一个b标签

# 获取<body>标签中的第一个<b>标签
print(soup.body.b)

输出为：

<b>The Dormouse's story</b>

1.1.4 获得当前名字的第一个tag

# 获得当前名字的第一个tag
print(soup.a)
输出为：
<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>

1.1.5 获取所有a标签

# 获取所有a标签
print(soup.find_all('a'))

输出为：

[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, 
<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, 
<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

1.2 .contents 和 .children

.contents 属性将tag子节点以列表的方式输出:

# .contents属性将`tag`子节点以列表的方式输出
head_tag = soup.head
print(head_tag)
print(head_tag.contents)
title_tag = head_tag.contents[0]
print(title_tag)
print(title_tag.contents)

输出为：

<head><title>The Dormouse's story</title></head>
[<title>The Dormouse's story</title>]
<title>The Dormouse's story</title>
["The Dormouse's story"]
.children 生成器,可以对tag的子节点进行循环:

.children生成器,可以对tag的子节点进行循环

for child in title_tag.children:
    print(child)

输出为：

The Dormouse's story

1.3 .descendants

.descendants 属性对所有tag的子孙节点进行递归循环：

for child in head_tag.descendants:
    print(child)

输出为：

<title>The Dormouse's story</title>
The Dormouse's story

1.4 .string

如果tag只有一个 NavigableString 类型子节点,那么这个tag可以使用 .string 得到子节点：

# 如果tag只有一个 NavigableString 类型子节点,那么这个tag可以使用 .string 得到子节点:
print(title_tag.string)

输出为：

The Dormouse's story

1.5 .strings 和 stripped_strings

如果tag中包含多个字符串,可以使用 .strings 来循环获取:

for string in soup.strings:
    print(repr(string))

输出为：

'\n'
"The Dormouse's story"
'\n'
'\n'
"The Dormouse's story"
'\n'
'Once upon a time there were three little sisters; and their names were\n'
'Elsie'
',\n'
'Lacie'
' and\n'
'Tillie'
';\nand they lived at the bottom of a well.'
'\n'
'...'
'\n'

使用 .stripped_strings 可以去除多余空白内容:

# 使用 .stripped_strings 可以去除多余空白内容:
for string in soup.stripped_strings:
    print(repr(string))

输出为：

"The Dormouse's story"
"The Dormouse's story"
'Once upon a time there were three little sisters; and their names were'
'Elsie'
','
'Lacie'
'and'
'Tillie'
';\nand they lived at the bottom of a well.'
'...'

2 父节点

2.1 .parent

通过 .parent 属性来获取某个元素的父节点；

head标签是title标签的父节点:

#  通过 .parent 属性来获取某个元素的父节点，head标签是title标签的父节点:
title_tag = soup.title
print(title_tag)
print(title_tag.parent)

输出为：

<title>The Dormouse's story</title>
<head><title>The Dormouse's story</title></head>

2.2 .parents

通过元素的 .parents 属性可以递归得到元素的所有父辈节点：

link = soup.a
print(link)
for parent in link.parents:
    if parent isNone:
        print(parent)
    else:
        print(parent.name)

输出为：

<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>
p
body
html
[document]

3 兄弟节点

两个标签是同一层，他们是同一个元素的子节点，则这两个标签是兄弟节点；

如下，b和c标签是兄弟节点：

sibling_soup = BeautifulSoup("<a><b>text1</b><c>text2</c></b></a>")
print(sibling_soup.prettify())

输出为：

<a>
 <b>
  text1
 </b>
 <c>
  text2
 </c>
</a>

3.1 .next_sibling 和 .previous_sibling

使用 .next_sibling 和 .previous_sibling 属性来查询兄弟节点:

# 使用 .next_sibling 和 .previous_sibling 属性来查询兄弟节点:
print(sibling_soup.b.next_sibling)
print(sibling_soup.c.previous_sibling)

输出为：

<c>text2</c>
<b>text1</b>

3.2 .next_siblings 和 .previous_siblings

通过 .next_siblings 和 .previous_siblings 属性可以对当前节点的兄弟节点迭代输出：

for sibling in soup.a.next_siblings:
    print(repr(sibling))
for sibling in soup.find(id="link3").previous_siblings:
    print(repr(sibling))

输出为：

',\n'
<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>
' and\n'
<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>
';\nand they lived at the bottom of a well.'
' and\n'
<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>
',\n'
<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>
'Once upon a time there were three little sisters; and their names were\n'

4 回退和前进

4.1 .next_element 和 .previous_element

.next_element 属性指向解析过程中下一个被解析的对象(字符串或tag)：

last_a_tag = soup.find("a", id="link3")
print(last_a_tag)
print(last_a_tag.next_sibling)

输出为：

<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>
;
and they lived at the bottom of a well.

.previous_element 属性刚好与 .next_element 相反,它指向当前被解析的对象的前一个解析对象：

print(last_a_tag.previous_element)
print(last_a_tag.previous_element.next_element)

输出为：

and
<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>

4.2 .next_elements 和 .previous_elements

通过 .next_elements 和 .previous_elements 的迭代器就可以向前或向后访问文档的解析内容：

for element in last_a_tag.next_elements:
    print(repr(element))

输出为：

'Tillie'
';\nand they lived at the bottom of a well.'
'\n'
<p class="story">...</p>
'...'
'\n'

5 本为涉及的源码：

# -*- coding:utf-8 -*-
# 作者：NoamaNelson
# 日期：2023/2/16
# 文件名称：bs03.py
# 作用：BeautifulSoup的使用
# 联系：VX(NoamaNelson)
# 博客：https://blog.csdn.net/NoamaNelson

from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
    <body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

soup = BeautifulSoup(html_doc, 'html.parser')

# ====== 子节点======
# 获取head
print(soup.head)

# 获取title
print(soup.title)

# 获取<body>标签中的第一个<b>标签
print(soup.body.b)

# 获得当前名字的第一个tag
print(soup.a)

# 获取所有a标签
print(soup.find_all('a'))

# .contents属性将`tag`子节点以列表的方式输出
head_tag = soup.head
print(head_tag)
print(head_tag.contents)
title_tag = head_tag.contents[0]
print(title_tag)
print(title_tag.contents)

# .children生成器,可以对tag的子节点进行循环
for child in title_tag.children:
    print(child)

# .descendants属性对所有tag的子孙节点进行递归循环
for child in head_tag.descendants:
    print(child)

# 如果tag只有一个 NavigableString 类型子节点,那么这个tag可以使用 .string 得到子节点:
print(title_tag.string)

# 如果tag中包含多个字符串,可以使用 .strings来循环获取
for string in soup.strings:
    print(repr(string))

# 使用 .stripped_strings 可以去除多余空白内容:
for string in soup.stripped_strings:
    print(repr(string))


# ====== 父节点======
#  通过 .parent 属性来获取某个元素的父节点，head标签是title标签的父节点:
title_tag = soup.title
print(title_tag)
print(title_tag.parent)

# 通过元素的 .parents 属性可以递归得到元素的所有父辈节点
link = soup.a
print(link)
for parent in link.parents:
    if parent isNone:
        print(parent)
    else:
        print(parent.name)


# ====== 兄弟节点======
sibling_soup = BeautifulSoup("<a><b>text1</b><c>text2</c></b></a>", 'html.parser')
print(sibling_soup.prettify())

# 使用 .next_sibling 和 .previous_sibling 属性来查询兄弟节点:
print(sibling_soup.b.next_sibling)
print(sibling_soup.c.previous_sibling)

# 通过 .next_siblings 和 .previous_siblings 属性可以对当前节点的兄弟节点迭代输出
for sibling in soup.a.next_siblings:
    print(repr(sibling))
for sibling in soup.find(id="link3").previous_siblings:
    print(repr(sibling))


# ====== 回退和前进======
# .next_element 属性指向解析过程中下一个被解析的对象(字符串或tag)
last_a_tag = soup.find("a", id="link3")
print(last_a_tag)
print(last_a_tag.next_sibling)

# .previous_element 属性刚好与 .next_element 相反,它指向当前被解析的对象的前一个解析对象
print(last_a_tag.previous_element)
print(last_a_tag.previous_element.next_element)

# 通过 .next_elements 和 .previous_elements 的迭代器就可以向前或向后访问文档的解析内容
for element in last_a_tag.next_elements:
    print(repr(element))

最后： 为了回馈铁杆粉丝们，我给大家整理了完整的软件测试视频学习教程，朋友们如果需要可以自行免费领取 【保证100%免费】
在这里插入图片描述

软件测试面试文档

我们学习必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有字节大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

在这里插入图片描述
我们学习必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有字节大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

全套资料获取方式：

在这里插入图片描述

测试界的飘柔
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
博客
面了个阿里出来的大佬，见识到了基础的天花板
06-26 4050
本来感觉这个title看起来有点离谱，结果没想到仔细一看，这份资料竟然真的有点东西。内容收纳的很全，而且融合了很多今年的新玩意。据我所知有人靠它拿下了45k+的offer…
博客
一次失败的面试经历：我只想找个工作，你却用面试题羞辱我
02-27 3031
金三银四就要来了，即将又是一波求职月，面对跳槽的高峰期，很多软件测试人员都希望能拿一个满意的高薪offer，但是随着招聘职位的不断增多，面试的难度也随之加大，而面试官更是会择优录取
博客
经验分享：应届生如何入行软件测试？我学习3个月成功上岸12K
12-16 2915
我是来自四川工商学院计算机科学与技术专业的一名本科应届生。来华测参加了软件测试培训，在这边学习几个月之后，现在已经拿到了一个12K的offer。
博客
10K起步的软件测试岗到底需要学什么？零基础进阶自动化测试需要哪些技术...
12-06 2559
1、软件测试基础： 对软件测试整理的测试流程有清晰的概念，了解软件测试到底是做什么的，软件测试的各种专业术语是什么意思，以及多种不同的软件测试类型区分，测试用例的作用、本质以及如何撰写，测试报告、缺陷管理、常见的软件测试工具（selenium|Postman|禅道的认识）等等；学习侧重点： 掌握软件测试的基础知识是每个测试工程师必备的基础技能。相当于整个测试技术的基石，一定要注重等等。2、计算机基础： 主要掌握计算机的系统基础原理（内存信息、运作原理、Linux操作系统命令）、测试的基本理论知识、前端方面
博客
35+老测试员生涯回顾，揭秘无力吐槽的自动化真相…
10-26 2918
什么是自动化测试呢？这个问题，可能没有准确的答案。普遍认为的是接口自动化测试，WebUI自动化测试，App自动化测试等被冠以自动化命名的测试方案。其实不然，自动化测试是相对于手工而言的，用代码或是借助于第三方工具，把繁复的测试工作从手工转化为机器自动执行的测试方案，可以统称为自动化测试。除了上面所说的三个方面的自动化测试，当然还包括日志过滤，日志回放，接口监控，服务监控等等，根据具体业务需求通过代码把人力从中解放出来的代码手段。不管你对自动化测试是爱，是恨，它是从手工测试转为测试开发必经的阶段。
博客
自动化测试岗实习3千5，转正1万8，技术在手真的太香了...
10-22 2436
希望二黑的经历能够对更多面临同样问题的人有所裨益。最后小编还想说的是，最不会辜负你的就是你的坚持。如果你正经历着就业的挫折和打击，不妨试试把琐碎的时间利用起来，好好去提升你的目标方向的技能。无论哪个行业，只有提高自己的能力，才有拿下高薪offer的可能。当然，如果你想要进入的是IT互联网行业，那么也希望华测的课程能对大家所有帮助和成长。
博客
2022年，软件测试还能学吗？别学了，软件测试岗位饱和了...
07-27 4211
8年前，我懵懂的选择了软件测试这个行业，穷困潦倒的时候，爸妈给我付了2万块钱进入了一家培训机构，我怀着感激和破釜沉舟的情绪开始学习软件测试。3个月的学习时间，住群租宿舍，吃盒饭，平时上课认真听讲，周末就跑自习室。在学了基础课程之后，找工作的时候以比较优秀的成绩通过了各种面试。那时候的软件测试要求很低，拿offer手到擒来。一些经常逃课的同学也能入职外包公司。4年前在经历了几家公司的磨练，开始带学生学习测试。那时候学生看完找工作4个面试机会也能拿两个offer，总是能传来好消息。这么高的薪资！。！...
博客
Selenium自动化测试面试题全家桶
07-26 5885
通过工具或脚本代替手工测试执行过程的测试都叫自动化测试。自动化测试的优势1、减少回归测试成本2、减少兼容性测试成本3、提高测试反馈速度4、提高测试覆盖率5、让测试工程师做更有意义的测试。......
博客
听说转行软件测试只能自学，培训机构是个坑？
07-12 4618
IT行业的热度一直有增无减，行业发展好、薪资高等优势吸引了很多人，其中软件测试一直是IT行业的比较受欢迎的方向。有很大一部分的软件测试工程师，都是经过培训之后就业的，好的培训机构能让你真正学到软件测试技能，源源不断地为行业输送人才。可能有一些想要进入IT行业的小伙伴会听到说培训班出来的不好找工作、有些公司招聘的时候不要培训出来的就业者等这样的消息，也有人说通过培训机构培训软件测试也就是学会点基础知识，就业技能远远达不到企业的招聘标准，所以对于软件测试培训出来能不能干下去很担心。不可否认的是，确实是有一些同学
博客
Airtest脚本的重构与优化：提升测试效率和可读性
06-13 432
在自动化测试的工作里，编写高效且易于维护的测试脚本是一项挑战，尤其是在应对复杂的测试场景时。Airtest作为一款常用的自动化测试工具，它提供了丰富的API和灵活的脚本编写方式，帮助测试人员高效地开展UI自动化测试。然而，随着测试需求的增加和项目的扩展，原始脚本可能会变得难以管理和理解。本文将探讨如何通过重构和优化Airtest脚本来提升测试效率和脚本的可读性。
博客
性能测试常见的内存溢出问题： JVM 内存溢出如何调优？
06-11 630
针对java项目做性能测试的时候，很多同学都见过一个报错，就是OOM【Out Of MemoryError】；那出现这种报错就是项目发生了内存溢出的问题，这是比较严重的性能问题。所以，作为一个性能测试工程师，我们要能够分析JVM内存的问题以及理解其中的原理，才能更好的给JVM内存出现的性能瓶颈问题进行调优。
博客
每个自动化测试，只测一个功能
06-11 738
我原本以为，“每个自动化测试，只测一个功能”应该是不言自明的。直到上周，我才发现，这个规则在现实世界中的执行并没有那么好，值得单独说一下。起因是，我看到了一个类似于这样的测试用例：
博客
接口自动化测试的全面解析与实战指南（带耳机）
06-11 977
接口自动化测试，作为现代软件开发生命周期中的关键一环，扮演着“质量守门员”的角色。它不仅关乎提升开发速度，更在于确保每一次更新都能可靠地满足用户期待。接下来，我们将踏上一场深入浅出的旅程，逐一解开接口自动化测试的面纱。
博客
月薪2W的软件测试工程师，到底是做什么的？
06-11 519
通俗来说，软件测试就是通过“人工”或“自动化”的手段，来测试某个程序或系统，进而检验其是否满足规定的需求或是弄清预期结果与实际结果之间的差别。
博客
分享一波高级测试开发工程师面经！
06-07 671
最近不少同学都在找工作，给大家分享一波我这边面试某知名自研公司一二面面试复盘记录，两轮面试均已通过。主要考察质量保障，手撕代码，编程基础，性能测试，JVM等等。
博客
JMeter中进行JDBC协议压测实战笔记来喽！
06-07 277
在使用Jmeter进行性能测试的时候，不仅是需要对业务的接口进行性能并发测试，有的时候还需要专门对服务器进行压测，比如本次给大家介绍的对数据库进行压测。
博客
APP中断测试知多少
06-07 745
让我们深入探讨中断测试的细节及其手动或程序化实现方式。本文还介绍了用于自动化测试过程、加快测试执行速度并向用户提供高质量应用的移动工具，例如 Appium WebDriver。
博客
领导给你一个项目，如何开展性能测试工作？
06-07 519
性能测试的工作是基于系统功能已经完备或者已经趋于完备之上的，在功能还不够完备的情况下没有多大的意义（后期功能完善上会对系统的性能有影响，过早进入性能测试会出现测试结果不准确、浪费测试资源）；因此，性能测试首先是基于功能测试的，你必须了解其功能实现才能开展性能测试。
博客
使用Selenium监控页面库存变化
06-05 802
日常遇到一些商品比较抢手的情况，经常无库存。所以总希望能够监控它的库存，并在有库存的时候进行提醒。那以某伊份为例，尝试基于Python的Selenium模块的监控方法。
博客
30岁销售转行软件测试，我的4次心酸面试经历总结……
06-05 519
我是去年上半年从销售行业转行到测试的，从销售公司辞职之后选择去培训班培训软件测试，经历了四个月左右的培训，在培训班结课前两周就开始投简历了，在结课的时候顺利拿到了offer。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值