BeautifulSoup 遍历文档树

最新推荐文章于 2023-09-12 14:13:32 发布
最新推荐文章于 2023-09-12 14:13:32 发布
阅读量367 收藏
点赞数
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/alexander068/article/details/113762955
版权

1）直接子节点

    要点：.contents .children 属性

.contents，tag 的 .content 属性可以将tag的子节点以列表的方式输出，

1

2

print soup.head.contents

#[<title>The Dormouse's story</title>]

输出方式为列表，我们可以用列表索引来获取它的某一个元素

1

2

print soup.head.contents[0]

#<title>The Dormouse's story</title>

.children ，返回的不是一个 list，不过我们可以通过遍历获取所有子节点。

我们打印输出 .children 看一下，可以发现它是一个 list 生成器对象

1

2

print soup.head.children

#<listiterator object at 0x7f71457f5710>

我们怎样获得里面的内容呢？很简单，遍历一下就好了，代码及结果如下

1

2

for child in soup.body.children:

  print child

（2）所有子孙节点

    知识点：.descendants 属性

.descendants

.contents 和 .children 属性仅包含tag的直接子节点，.descendants 属性可以对所有tag的子孙节点进行递归循环，和 children类似，我们也需要遍历获取其中的内容。
 

1

2

for child in soup.descendants:

  print child

运行结果如下，可以发现，所有的节点都被打印出来了，先生最外层的 HTML标签，其次从 head 标签一个个剥离，以此类推。

 

（3）节点内容

    知识点：.string 属性

如果tag只有一个 NavigableString 类型子节点,那么这个tag可以使用 .string 得到子节点。

如果一个tag仅有一个子节点,那么这个tag也可以使用 .string 方法,输出结果与当前唯一子节点的 .string 结果相同。

通俗点说就是：如果一个标签里面没有标签了，那么 .string 就会返回标签里面的内容。

如果标签里面只有唯一的一个标签了，那么 .string 也会返回最里面的内容。例如

1

2

3

4

print soup.head.string

#The Dormouse's story

print soup.title.string

#The Dormouse's story

如果tag包含了多个子节点,tag就无法确定，string 方法应该调用哪个子节点的内容, .string 的输出结果是 None

1

2

print soup.html.string

# None

注意：

 这样无换行的就可以。

# <head><title>The Dormouse's story</title></head> 

这样有换行的就不可以。

# <head>

#   <title>The Dormouse's story</title>

# </head>  

 

（4）多个内容

    知识点： .strings .stripped_strings 属性

.strings

获取多个内容，不过需要遍历获取，比如下面的例子
 

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

for string in soup.strings:

  print(repr(string))

  # u"The Dormouse's story"

  # u'\n\n'

  # u"The Dormouse's story"

  # u'\n\n'

  # u'Once upon a time there were three little sisters; and their names were\n'

  # u'Elsie'

  # u',\n'

  # u'Lacie'

  # u' and\n'

  # u'Tillie'

  # u';\nand they lived at the bottom of a well.'

  # u'\n\n'

  # u'...'

  # u'\n'

.stripped_strings

输出的字符串中可能包含了很多空格或空行,使用 .stripped_strings 可以去除多余空白内容
 

1

2

3

4

5

6

7

8

9

10

11

12

for string in soup.stripped_strings:

  print(repr(string))

  # u"The Dormouse's story"

  # u"The Dormouse's story"

  # u'Once upon a time there were three little sisters; and their names were'

  # u'Elsie'

  # u','

  # u'Lacie'

  # u'and'

  # u'Tillie'

  # u';\nand they lived at the bottom of a well.'

  # u'...'

（5）父节点

    知识点： .parent 属性

1

2

3

4

5

6

7

p = soup.p

print p.parent.name

#body

  

content = soup.head.title.string

print content.parent.name

#title

（6）全部父节点

    知识点：.parents 属性

通过元素的 .parents 属性可以递归得到元素的所有父辈节点，例如

1

2

3

content = soup.head.title.string

for parent in content.parents:

  print parent.name

（7）兄弟节点

    知识点：.next_sibling .previous_sibling 属性

兄弟节点可以理解为和本节点处在统一级的节点，.next_sibling 属性获取了该节点的下一个兄弟节点，.previous_sibling 则与之相反，如果节点不存在，则返回 None

注意：实际文档中的tag的 .next_sibling 和 .previous_sibling 属性通常是字符串或空白，因为空白或者换行也可以被视作一个节点，所以得到的结果可能是空白或者换行
 

1

2

3

4

5

6

7

8

9

10

11

print soup.p.next_sibling

#    实际该处为空白

print soup.p.prev_sibling

#None  没有前一个兄弟节点，返回 None

print soup.p.next_sibling.next_sibling

#<p class="story">Once upon a time there were three little sisters; and their names were

#<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>,

#<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a> and

#<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>;

#and they lived at the bottom of a well.</p>

#下一个节点的下一个兄弟节点是我们可以看到的节点

（8）全部兄弟节点

    知识点：.next_siblings .previous_siblings 属性

    通过 .next_siblings 和 .previous_siblings 属性可以对当前节点的兄弟节点迭代输出

1

2

3

4

5

6

7

8

for sibling in soup.a.next_siblings:

  print(repr(sibling))

  # u',\n'

  # <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>

  # u' and\n'

  # <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>

  # u'; and they lived at the bottom of a well.'

  # None

（9）前后节点

    知识点：.next_element .previous_element 属性

与 .next_sibling .previous_sibling 不同，它并不是针对于兄弟节点，而是在所有节点，不分层次

比如 head 节点为
 
<head><title>The Dormouse's story</title></head>

那么它的下一个节点便是 title，它是不分层次关系的

1

2

print soup.head.next_element

#<title>The Dormouse's story</title>

（10）所有前后节点

    知识点：.next_elements .previous_elements 属性

通过 .next_elements 和 .previous_elements 的迭代器就可以向前或向后访问文档的解析内容,就好像文档正在被解析一样

1

2

3

4

5

6

7

8

9

for element in last_a_tag.next_elements:

  print(repr(element))

# u'Tillie'

# u';\nand they lived at the bottom of a well.'

# u'\n\n'

# <p class="story">...</p>

# u'...'

# u'\n'

# None

alexander068
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Python第十五次知识点学习---BeautifulSoup遍历文档元素
m0_46303002的博客
05-20 519
目录一、获取元素节点的父节点1.1、找出文档中指定元素节点的所有父节点的名称。二、获取元素节点的直接子元素节点2.1、获取指定元素的所有直接子元素节点三、获取元素节点的所有子孙元素节点3.1、获取指定元素的所有子孙元素节点四、获取元素节点的兄弟节点4.1、查找前后兄弟节点 一、获取元素节点的父节点 BeautifulSoup通过tag.parent获取tag节点的父节点，其中根节点<html>的父节点是名称为[document]的节点，这个[document]节点的父节点是None。 1.1
Python面试题--第79道题目--如何使用BeautifulSoup的节点选择器获取节点信息--2022年05月04日
蓝星部队的博客
05-07 785
目录 一、BeautifulSoup的简介： 二、实例代码演示： 1、获取title的name，文本。 2、获得li节点的所有属性值或者某个具体的属性值。 3、获得a节点的文本。 一、BeautifulSoup的简介： 1、Beautiful Soup就是Python的一个HTML或XML的解析库，它借助网页的结构和属性等特性来解析网页。 2、有了它，我们不用再去写一些复杂的正则表达式，只需要简单的几条语句，就可以完成网页中某个元素的提取。 3、官方解释如下： Beautiful So
Beautiful Soup4数据解析与提取
积跬步，至千里。
09-12 204
Beautiful Soup是一个Python的库，用于解析HTML和XML文档，提供了方便的数据提取和操作功能。
BeautifulSoup搜索节点的几种方法
热门推荐
、Lu的博客
06-29 1万+
1. find和find_all方法： 搜索文档树，一般用得比较多的就是两个方法，一个是find，一个是find_all。find方法是找到第一个满足条件的标签后就立即返回，只返回一个元素。find_all方法是把所有满足条件的标签都选到，然后返回回去。使用这两个方法，最常用的用法是出入name以及attr参数找出符合要求的标签。 soup.find_all("a",attrs={"id":"link2"}) 或者是直接传入属性的的名字作为关键字参数： soup.find_all("a",id
71 - 使用Beautiful Soup 的节点选择器获取节点信息
若尘的博客
03-16 1912
如何使用Beautiful Soup 的节点选择器获取节点信息
html 遍历 所有节点 空白节点,Beautiful Soup4学习笔记（三）：遍历文档树
weixin_31433527的博客
06-17 303
还是之前的字符串作为栗子：html_doc = """The Dormouse's storyThe Dormouse's storyOnce upon a time there were three little sisters; and their names wereElsie,Lacie andTillie;and they lived at the bottom of a well......
使用Python爬虫库BeautifulSoup遍历文档树并对标签进行操作详解
09-18
今天为大家介绍下Python爬虫库BeautifulSoup遍历文档树并对标签进行操作的详细方法与函数
02-遍历文档-BeautifulSoup.py
03-17
02-遍历文档-BeautifulSoup.py
python基于BeautifulSoup实现抓取网页指定内容的方法
09-21
BeautifulSoup是一个非常流行的库，用于解析HTML和XML文档，使得处理网页内容变得简单易行。本篇文章将详细介绍如何使用Python结合BeautifulSoup来抓取网页上的指定内容。 首先，要使用BeautifulSoup，需要导入必要...
python爬虫学习笔记之Beautifulsoup模块用法详解
09-17
使用Beautifulsoup解析文档，需要提供待解析的文本和解析器类型，例如： ```python soup = BeautifulSoup(html_content, 'html.parser') ``` 其中，`html_content`是HTML或XML的字符串形式，'html.parser'是选择的...
python 递归遍历文件夹,并打印满足条件的文件路径实例
09-21
下面小编就为大家带来一篇python 递归遍历文件夹,并打印满足条件的文件路径实例。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Python爬虫包 BeautifulSoup 学习（六） 递归抓取
Mr.Phoebe的专栏
12-25 6522
之前的代码都是对单个静态页面进行抓取，这是人为简化的例子。爬虫的主要目的就是为了沿着网络抓取需要的内容。它们的本质是一种递归的过程。它们首先需要获得网页的内容，然后分析页面内容并找到另一个URL，然后获得这个URL的页面内容，不断重复这一个过程。让我们以维基百科为一个例子。# -*- coding: utf-8 -*- # @Author: HaonanWu # @Date: 2016-12-2
BeautifulSoup模块学习
m0_60687018的博客
08-19 268
使用Beautiful模块解析网页的常用方法的记录
beautifulsoup4教程（三）遍历和搜索文档树
chinaltx的博客
02-02 7025
四、遍历文档树 4.1 直接子节点 .contents tag 对象的.contents属性可以将某个tag的子节点以列表的方式输出,当然列表会允许用索引的方式来获取列表中的元素。 #-*-coding:utf-8-*- from bs4 import BeautifulSoup html = &quot;&quot;&quot; &amp;lt;html&amp;gt;&amp;lt;head&amp;gt;&amp;lt;titl
Python爬虫包 BeautifulSoup 递归抓取实例详解
python爬虫教程
03-06 1481
Python爬虫包 BeautifulSoup 递归抓取实例详解 概要： 爬虫的主要目的就是为了沿着网络抓取需要的内容。它们的本质是一种递归的过程。它们首先需要获得网页的内容，然后分析页面内容并找到另一个URL，然后获得这个URL的页面内容，不断重复这一个过程。 让我们以维基百科为一个例子。 我们想要将维基百科中凯文·贝肯词条里所有指向别的词条的链接提取出来。 # -*- coding: utf...
Python爬虫入门（#7）——BeautifulSoup（其一）
weixin_44077128的博客
08-08 348
文章目录基础内容基本对象基本方法遍历文档树搜索文档树修改文档树 前面使用过BeautifulSoup来处理返回的html文档，这个库可以让我们不需要依赖正则而找到我们所需要的内容 基础内容 基本对象 首先要了解一下一些基础的属性和方法 BeautifulSoup将html解析为树形结构 from bs4 import BeautifulSoup # 以文件形式解析html文档 soup = BeautifulSoup(open("filePath")) # 以字符串形式解析html文档 soup =
Beautifulsoup 库 -- 02 -- 遍历文档树
S_numb的博客
09-09 539
文章目录1. 遍历文档树1.1 子节点1.1.1 tag 的名字1.1.2 contents 和 children 属性1.1.3 descendants1.1.4 string1.1.5 strings 和 stripped_strings1.2 父节点1.2.1 parent1.2.2 parents1.3 兄弟节点1.3.1 next_sibling 和 previous_sibling1.3.2 next_siblings 和 previous_siblings1.4 回退和前进1.4.1 next
爬虫基础 之BeautifulSoup（bs4）(中)
小颜颜6035的博客
09-04 282
每天进步一点点，五年之后大不同 。 from bs4 import BeautifulSoup html = """ <table class="tablelist" cellpadding="0" cellspacing="0"> <tbody> <tr class="h"> <td class="l" width="374">职位名称</td> <td>职位类
BeautifulSoup 用法详解 —— 遍历文档树
xiaoyu_wu的博客
10-07 1566
Beautiful Soup 4.4.0文档：https://beautifulsoup.readthedocs.io/zh_CN/latest/ 1.子节点 一个 Tag可能包含多个字符串或其它的 Tag，这些都是这个 Tag的子节点。BeautifulSoup提供了许多操作和遍历子节点的属性。 操作文档树最简单的方法就是告诉它你想获取的tag的 name。 # 获取...
beautifulsoup爬虫遍历
最新发布
09-13
使用BeautifulSoup爬虫库进行文档树的遍历和标签操作的方法非常简单。以下是一些常用的方法和函数： 1. 使用`find_all`方法获取所有的...这些方法可以帮助你方便地遍历文档树并对标签进行操作，从而满足你的爬虫需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值