python爬虫 - BeautifulSoup（2）子孙节点（.children .descendants）和父节点(.parents)

最新推荐文章于 2024-07-11 08:46:48 发布

mifaxie

最新推荐文章于 2024-07-11 08:46:48 发布

阅读量1.4w

点赞数 4

分类专栏：学习笔记文章标签： python 爬虫 BeautifulSoup 子节点父节点

本文链接：https://blog.csdn.net/mifaxie/article/details/79340687

版权

本文探讨了使用BeautifulSoup在Python爬虫中如何获取子节点和子孙节点，通过.children和.descendants的区别展示它们在查找元素时的不同。同时，介绍了查询父节点的方法，包括.parents和.parent的使用示例。

摘要由CSDN通过智能技术生成

3. 1子节点和子孙节点

soup.body.h1# 选中body 标签下的h1，这个h1 标签是body标签的子节点

同理，soup.div.find_all(‘img’)会找到所有div里面的img标签。

.children 和.descendants

对比代码如下：

html = urlopen('http://www.pythonscraping.com/pages/page3.html')
soup = BeautifulSoup(html, 'lxml')
children = soup.find('table',{
  'id':'giftList'}).children
descendants = soup.find('table',{
  'id':'giftList'}).descendants
sum =

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

mifaxie

关注关注

4
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

python学习爬虫（5）--BeautifulSoup遍历文档树：.contens, .children, .descendants等

weixin_31315135的博客

03-28

1480

作者：IT小样本篇主要介绍对BeautifulSoup的引用，以之前教程中的HTML为例： html_doc = ''' <html><head><title>hello,tester</title></head><body> <h1>Hello,w...

BeautifulSoup模块

m0_58310590的博客

04-22

1066

是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航，查找，修改文档的方式。（官方） beautifulsoup是一个解析器，可以特定的解析出内容，省去了我们编写正则表达式的麻烦。模块介绍BeautifulSoup是一个解析库，可以从HTLML中提取数据的库 BeautifulSoup的文档树是指使用BeautifulSoup解析HTML或XML文档后所构建的数据结构，它代表了整个文档的层级结构和内容关系。

参与评论您还未登录，请先登录后发表或查看评论

python解析HTML（BeautifulSoup）

最新发布

cnblogs_user的博客

07-11

1013

对象可以被当作一个方法来使用,这个方法的执行结果与调用这个对象的。参数同样接受不同类型的过滤器 ,字符串,正则表达式,方法或。标签是当前子节点的直接父节点,所以可以被找到.还有一个。标签是目标子节点的间接父辈节点,所以也可以被找到.包含。的名字方法的简写.这个简写的原理就是多次调用当前。属性赋值,就相当于用当前的内容替代了原来的内容。相反,它指向当前被解析的对象的前一个解析对象。参数之后,只能查找直接子节点,这样就查不到。方法返回所有符合条件的后面的兄弟节点,方法返回所有符合条件的前面的兄弟节点,

Python爬虫包 BeautifulSoup 学习（七） children等应用

Mr.Phoebe的专栏

01-20

9217

所使用的html为：html_doc = """ <html> <head><title>The Dormouse's story</title></head> The Dormouse's story Once upon a time there were three little sisters; a

BeautifulSoup学习笔记2——父节点，兄弟节点

qq_44732013的博客

03-12

1759

BeautifulSoup学习笔记2——父节点，兄弟节点 1. .parent 返回该节点的父节点，如果不存在则返回None soup.parent #None soup.html """ <html><head><title>The Dormouse's story</title></head> <body> The Dormouse's story

python爬虫（三）：BeautifulSoup 【3. 遍历】

ant的博客

12-05

1554

通过遍历，可以定位到所需节点的位置，再提取信息下行遍历：属性说明 .contents 子节点的列表，将<tag>所有儿子节点存入列表 .children 子节点的迭代类型，与.contents类似，用于循环遍历儿子节点 .descendants 子孙节点的迭代类型，包含所有子孙节点，用于循环遍历上行遍历：属性说明 .parent 节点的父亲标签...

BeautifulSoup children descendants对比

数据科学汇集

04-15

647

BeautifulSoup children escendants对比 1 简介 Children、descendants是beatifulsoup里常见的遍历子孙的方法，它们的区别在于children仅遍历所有子节点而decendants会迭代遍历children节点及其子孙节点。 2 验证 2.1 数据说明假设...

python 获取某一节点下的子孙节点「适用于父子层级组织架构」

dyh36_c的专栏

07-14

4272

读取hive数据处理父子层级架构准备原材料 hive中表的数据如下：读取hive中的数据，转化为List 主程序逻辑如下：要获取某一个节点的所有子孙节点，需要将读取到的节点数据构造为树状结构构造树状结构的步骤如下： 1. 构造节点元素类由于树状结构的每一个节点都需要有当前节点、父节点、以及直接子节点这三个核心元素，因此节点元素类如下： class Org: """ ...

Python爬虫-BeautifulSoup

有关心情

06-13

1693

Python爬虫-BeautifulSoup Python爬虫-BeautifulSoup “美丽汤”的爱恨使用爱丽丝文档示例标签遍历 find(),findAll() 综合使用支持正则 CSS选择器 “美丽汤”的爱恨前边说偏爱xpath，在于操作简单，解析速度较快。但不可否认：BeautifulSoup比xpath稳定。但凡网页的标签顺序发生变化（增删改），...

python爬虫的BeautifulSoup库详解

热门推荐

一行玩python

05-29

3万+

文章目录1.解析库2.基本使用3.标签选择器3.1选择元素3.2获取名称3.3获取属性3.4获取内容3.5嵌套选择3.6子节点和子孙节点3.7父节点和祖先节点3.8兄弟节点4标准选择器4.1find_all( name , attrs , recursive , text , **kwargs )4.1.1name4.1.2attrs4.1.3text4.2find( name , attrs ,...

Python爬虫-解析库之BeautifulSoup

Cherish1ove的博客

01-03

1116

BeautifulSoup装载HTML文档BeautifulSoup的安装BeautifulSoup装载HTML文档BeautifulSoup查找HTML元素BeautifulSoup获取元素的属性值BeautifulSoup获取元素包含的文本值BeautifulSoup的高级查找获取元素节点的父节点获取元素节点的直接子元素节点获取元素节点的所有子孙元素节点获取元素节点的兄弟节点 Beautifu...

soup.a.parents都有哪些

HWP

02-25

582

代码： import requests from bs4 import BeautifulSoup r = requests.get("https://python123.io/ws/demo.html") demo = r.text soup = BeautifulSoup(demo, "html.parser") print(soup.body) print(type(soup....

BeautifulSoup库之find、findAll和children、descendants

anmo1221的博客

09-02

9164

BeautifulSoup库提供了一些方法和属性去解析HTML，将HTML页面映射成一棵树。一、其中findAll函数通过标签的名称和属性来查找标签，返回一个列表例如： from urllib.request import urlopen from bs4 import BeautifulSoup html = urlopen("http://www.pythonscraping.co

python beautiful soup库的用法

weixin_34127717的博客

03-09

3106

参考：http://cuiqingcai.com/1319.html Beautiful Soup 4.2.0 文档 1. Beautiful Soup 简介简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索...

爬虫pyquery查找节点

实践求真知

01-13

3585

一 子节点 1 find方法 1.1 代码 html = ''' <div id="container"> <ul class="list"> <li class="item-0">first item</li> <li class="item-1"&a

16 `bs对象.节点名div.属性contents` children descendants 获取子节点 子孙节点

weixin_63986098的博客

06-26

760

`bs对象.节点名div.属性contents` children descendants 获取子节点 子孙节点

学习笔记之BeautifulSoup（2）——遍历文档树

weixin_37938228的博客

03-13

808

（以下均以该文档举例说明）遍历文档树 1.子节点 .一个Tag可能包含多个字符串或其它的Tag,这些都是这个Tag的子节点.Beautiful Soup提供了许多操作和遍历子节点的属性. 注意: Beautiful Soup中字符串节点不支持这些属性,因为字符串没有子节点。（1）tag的名字操作文档树最简单的方法就是告诉它你想获取的tag的name，可以在文档树的tag中多次调用这个方法；...

BeautifulSoup中children函数和desscendants函数的区别

ShiLihepan的博客

06-15

1391

我们将通过下面的举例来说明两个函数的区别首先打开一个网页https://blog.csdn.net/xiaohukun/article/details/77679134这是一篇博客，审查元素，选取如下图元素使用children函数，代码为from urllib import requestfrom bs4 import BeautifulSoupif __name__ == '__main__':...

python爬虫使用beautifulsoup库爬取www.shanghairanking.cn网站中大学名字分数排名

06-10

好的，以下是使用BeautifulSoup库爬取www.shanghairanking.cn网站中大学名字分数排名的Python代码示例： ```python import requests from bs4 import BeautifulSoup url = 'http://www.shanghairanking.cn/rankings/bcur/2021' response = requests.get(url) soup = BeautifulSoup(response.content, 'html.parser') table = soup.find_all('table', class_='rk-table')[0] tbody = table.find_all('tbody')[0] rows = tbody.find_all('tr') for row in rows: cols = row.find_all('td') name = cols[1].text.strip() score = cols[2].text.strip() print(name, score) ``` 这段代码首先使用requests库发送HTTP GET请求获取网页内容，然后使用BeautifulSoup库解析网页内容。接着，我们找到网页中的表格元素，并遍历表格中的每一行，提取每行中的大学名字和分数排名，并打印输出。注意，这里使用的是2021年的排名数据，如果需要获取其他年份的排名数据，只需要修改url即可。