python爬虫 - BeautifulSoup（2）子孙节点（.children .descendants）和父节点(.parents)

最新推荐文章于 2024-04-30 15:59:37 发布

mifaxie

最新推荐文章于 2024-04-30 15:59:37 发布

阅读量1.5w

点赞数 4

分类专栏：学习笔记文章标签： python 爬虫 BeautifulSoup 子节点父节点

本文链接：https://blog.csdn.net/mifaxie/article/details/79340687

版权

本文探讨了使用BeautifulSoup在Python爬虫中如何获取子节点和子孙节点，通过.children和.descendants的区别展示它们在查找元素时的不同。同时，介绍了查询父节点的方法，包括.parents和.parent的使用示例。

摘要由CSDN通过智能技术生成

3. 1子节点和子孙节点

soup.body.h1# 选中body 标签下的h1，这个h1 标签是body标签的子节点

同理，soup.div.find_all(‘img’)会找到所有div里面的img标签。

.children 和.descendants

对比代码如下：

html = urlopen('http://www.pythonscraping.com/pages/page3.html')
soup = BeautifulSoup(html, 'lxml')
children = soup.find('table',{
  'id':'giftList'}).children
descendants = soup.find('table',{
  'id':'giftList'}).descendants
sum =

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

mifaxie

关注关注

4
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【Python爬虫教程】第4篇-使用BeautifulSoup解析html

热门推荐

一行玩python

05-29

3万+

文章目录1.解析库2.基本使用3.标签选择器3.1选择元素3.2获取名称3.3获取属性3.4获取内容3.5嵌套选择3.6子节点和子孙节点3.7父节点和祖先节点3.8兄弟节点4标准选择器4.1find_all( name , attrs , recursive , text , **kwargs )4.1.1name4.1.2attrs4.1.3text4.2find( name , attrs ,...

Python爬虫包 BeautifulSoup 学习（七） children等应用

Mr.Phoebe的专栏

01-20

9261

所使用的html为：html_doc = """ <html> <head><title>The Dormouse's story</title></head> The Dormouse's story Once upon a time there were three little sisters; a

BeautifulSoup学习笔记2——父节点，兄弟节点

qq_44732013的博客

03-12

1898

BeautifulSoup学习笔记2——父节点，兄弟节点 1. .parent 返回该节点的父节点，如果不存在则返回None soup.parent #None soup.html """ <html><head><title>The Dormouse's story</title></head> <body> The Dormouse's story

python爬虫（三）：BeautifulSoup 【3. 遍历】

ant的博客

12-05

1572

通过遍历，可以定位到所需节点的位置，再提取信息下行遍历：属性说明 .contents 子节点的列表，将<tag>所有儿子节点存入列表 .children 子节点的迭代类型，与.contents类似，用于循环遍历儿子节点 .descendants 子孙节点的迭代类型，包含所有子孙节点，用于循环遍历上行遍历：属性说明 .parent 节点的父亲标签...

python学习爬虫（5）--BeautifulSoup遍历文档树：.contens, .children, .descendants等

weixin_31315135的博客

03-28

1510

作者：IT小样本篇主要介绍对BeautifulSoup的引用，以之前教程中的HTML为例： html_doc = ''' <html><head><title>hello,tester</title></head><body> <h1>Hello,w...

BeautifulSoup children descendants对比

数据科学汇集

04-15

726

BeautifulSoup children escendants对比 1 简介 Children、descendants是beatifulsoup里常见的遍历子孙的方法，它们的区别在于children仅遍历所有子节点而decendants会迭代遍历children节点及其子孙节点。 2 验证 2.1 数据说明假设...

Python爬虫-BeautifulSoup

有关心情

06-13

1728

Python爬虫-BeautifulSoup Python爬虫-BeautifulSoup “美丽汤”的爱恨使用爱丽丝文档示例标签遍历 find(),findAll() 综合使用支持正则 CSS选择器 “美丽汤”的爱恨前边说偏爱xpath，在于操作简单，解析速度较快。但不可否认：BeautifulSoup比xpath稳定。但凡网页的标签顺序发生变化（增删改），...

python 获取某一节点下的子孙节点「适用于父子层级组织架构」

dyh36_c的专栏

07-14

4382

读取hive数据处理父子层级架构准备原材料 hive中表的数据如下：读取hive中的数据，转化为List 主程序逻辑如下：要获取某一个节点的所有子孙节点，需要将读取到的节点数据构造为树状结构构造树状结构的步骤如下： 1. 构造节点元素类由于树状结构的每一个节点都需要有当前节点、父节点、以及直接子节点这三个核心元素，因此节点元素类如下： class Org: """ ...

soup.a.parents都有哪些

HWP

02-25

609

代码： import requests from bs4 import BeautifulSoup r = requests.get("https://python123.io/ws/demo.html") demo = r.text soup = BeautifulSoup(demo, "html.parser") print(soup.body) print(type(soup....

BeautifulSoup库之find、findAll和children、descendants

anmo1221的博客

09-02

9418

BeautifulSoup库提供了一些方法和属性去解析HTML，将HTML页面映射成一棵树。一、其中findAll函数通过标签的名称和属性来查找标签，返回一个列表例如： from urllib.request import urlopen from bs4 import BeautifulSoup html = urlopen("http://www.pythonscraping.co

Python爬虫篇：爬虫笔记合集

m0_63102527的博客

04-30

460

绝对路径起始于正斜杠( / )，而相对路径不会这样。XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。通过在路径表达式中使用“|”运算符，您可以选取若干个路径。谓语用来查找某个特定的节点或者包含某个指定的值的节点。XPath 通配符可用来选取未知的 XML 元素。我们将在下面的例子中使用这个 XML 文档。每个步均根据当前节点集之中的节点来进行计算。位置路径可以是绝对的，也可以是相对的。

python beautiful soup库的用法

weixin_34127717的博客

03-09

3282

参考：http://cuiqingcai.com/1319.html Beautiful Soup 4.2.0 文档 1. Beautiful Soup 简介简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索...

爬虫pyquery查找节点

实践求真知

01-13

3705

一 子节点 1 find方法 1.1 代码 html = ''' <div id="container"> <ul class="list"> <li class="item-0">first item</li> <li class="item-1"&a

16 `bs对象.节点名div.属性contents` children descendants 获取子节点 子孙节点

weixin_63986098的博客

06-26

802

`bs对象.节点名div.属性contents` children descendants 获取子节点 子孙节点

学习笔记之BeautifulSoup（2）——遍历文档树

weixin_37938228的博客

03-13

864

（以下均以该文档举例说明）遍历文档树 1.子节点 .一个Tag可能包含多个字符串或其它的Tag,这些都是这个Tag的子节点.Beautiful Soup提供了许多操作和遍历子节点的属性. 注意: Beautiful Soup中字符串节点不支持这些属性,因为字符串没有子节点。（1）tag的名字操作文档树最简单的方法就是告诉它你想获取的tag的name，可以在文档树的tag中多次调用这个方法；...

BeautifulSoup中children函数和desscendants函数的区别

ShiLihepan的博客

06-15

1456

我们将通过下面的举例来说明两个函数的区别首先打开一个网页https://blog.csdn.net/xiaohukun/article/details/77679134这是一篇博客，审查元素，选取如下图元素使用children函数，代码为from urllib import requestfrom bs4 import BeautifulSoupif __name__ == '__main__':...

python中beautifulsoup_Python中BeautifulSoup4的基本使用

weixin_39874196的博客

12-03

141

CSS 选择器：BeautifulSoup4from: Mpps: 下文的使用方法只列出了常用的，详细请看官方文档概念Beautiful Soup基于HTMLDOM，会载入整个文档，解析整个DOM树官方文档：使用创建bs对象# 打开本地HTML文件的方式来创建对象soup = BeautifulSoup(open('xxxx.html'))# 创建Beautiful Soup对象soup = Be...

Python全栈开发-Python爬虫-06 爬虫框架Beautiful Soup详解

kc44601的博客

06-27

625

BeautifulSoup详解一. 简介 BeautifulSoup是一个高效的网页解析库，可以从HTML或XML文件中提取数据支持不同的解析器，比如，对HTML解析，对XML解析，对HTML5解析就是一个非常强大的工具，爬虫利器一个灵感又方便的网页解析库，处理高效，支持多种解析器利用它就不用编写正则表达式也能方便的实现网页信息的抓取二. 解析库解析器使用方法优势劣势 Python标准库 BeautifulSoup(markup, “html.parser”) Pytho