Python网络爬虫入门版笔记 六、基于bs4库的HTML遍历方法

最新推荐文章于 2022-09-03 14:44:51 发布
最新推荐文章于 2022-09-03 14:44:51 发布
阅读量444 收藏 5
点赞数 2
分类专栏： Python网络爬虫——入门篇 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tomatoarmys/article/details/105468001
版权
本文介绍了Python网络爬虫中HTML遍历的基本方法，包括下行遍历、上行遍历和平行遍历。下行遍历涉及节点及其子孙节点的遍历，上行遍历则关注标签的父节点，而平行遍历着重于同一父节点下的标签兄弟节点。内容通过实例代码进行了详细解释。
摘要由CSDN通过智能技术生成

一、结构介绍

当我们打开一个html文档时可以发现这是一个具有树形结构的文本。

以前面的演示界面来看，其树形结构为：

现在介绍三种遍历方式：下行遍历、上行遍历、平行遍历。

 

二、标签树的下行遍历

属性

说明

.contents

子节点的列表，将<tag>所有儿子节点存入列表

.children

子节点的迭代类型，与contents类似，用于循环遍历儿子节点

.descenda
最低0.47元/天 解锁文章
RecycleBins
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于bs4库的HTML内容遍历方法、格式输出和内容查找
AI算法联盟
02-08 991
一、HTML基本格式 从图中看出，HTML遍历有三种方法：下行遍历、上行遍历、平行遍历 1.标签树的下行遍历 属性 说明 .contents 子节点的列表，将<tag>所有儿子节点存入列表 .children 子节点的迭代类型，与.contents类似，用于循环遍历儿子节点 .descendants 子孙节点的迭代类型，包含所有子孙节点...
python爬虫：bs4遍历文档树
weixin_30674525的博客
07-03 183
html_doc = ''' <html><head><title>The Dormouse's story</title></head> <body> <p class="sister"><b>$37</b></p> <p class="story" id...
基于bs4库的html内容遍历方法
WangaWen1229的博客
05-04 302
>>> import requests >>> r=requests.get("http://python123.io/ws/demo.html") >>> demo=r.text >>> demo '<html><head><title>This is a python demo ...
4.bs4 节点遍历
Mrs.King的博客
09-03 978
bs节点遍历
python之基于bs4库的HTML内容遍历方法
Richard_666的博客
02-13 190
Python爬虫BS4库的解析器正确使用方法
12-21
bs4库之所以能快速的定位我们想要的元素，是因为他能够用一种方式将html文件解析了一遍 ，不同的解析器有不同的效果。下文将一一进行介绍。 bs4解析器的选择 网络爬虫的最终目的就是过滤选取网络信息，最重要的部分...
基于Python网络爬虫毕业论文.doc
05-12
### 基于Python网络爬虫毕业论文的关键知识点解析 #### 一、网络爬虫概述 网络爬虫（Web Crawler），又称网络蜘蛛或网络机器人，是一种按照一定规则自动抓取互联网上的信息的程序或者脚本。在大数据时代背景下，...
python网络爬虫学习笔记（1）
09-20
**Python网络爬虫学习笔记（1）** 网络爬虫是一种自动化程序，用于从互联网上抓取大量数据。Python因其简洁的语法和丰富的库支持，成为网络爬虫开发的热门选择。本篇学习笔记将介绍Python网络爬虫的基础知识，包括...
python bs4库的爬虫开发案例
最新发布
04-10
基于python的网络爬虫案例，目标网站是某个电影网站，里面使用了python的bs4库和协程，爬取的数据是保存在mongodb数据库，是一个很好的学习案例，使用的时候记得先创建虚拟环境，然后根据req.txt文件安装第三方库，...
基于bs4库的HTML内容遍历方法
weixin_30342827的博客
03-25 124
HTML基本格式（树型格式）： 遍历方式：下行遍历（根节点到叶节点），上行遍历（叶节点到根节点），平行遍历 标签树的下行遍历： 属性 说明 .contents 子节点的列表，将<tag>所有儿子节点存入列表 .children 子节点的迭代类型，与.contents类似，用于循环遍历儿子节点 .descendants 子孙节点...
(python的坑，坑的我头晕，下行循环写后根遍历)
weixin_40759186的博客
10-24 232
总是提示越界错误 IndexError: list index out of range ### if s and s[-1].left == t: 需要先判断s是否为空，假如：if s[-1].left == t and s就会出现越界。 ## 边界条件的非常非常重要！！！！ ## 代码如下： ```python class Solution(object):     def posto...
Python网络爬虫与信息提取（四）bs4的内容遍历方法及注意事项
Abgler的博客
04-30 4454
  HTML文本是一种树形结构，所以bs4的内容遍历方法也是基于树形结构的，它共有下行遍历、上行遍历和平行遍历这三种遍历方法。标签树的下行遍历属性说明.contents子节点的列表，将&lt;tag&gt;所有子节点存入列表.children子节点的迭代类型，与.contents类似，用于循环遍历子节点.descendants子孙节点的迭代类型，包含所有子孙节点，用于循环遍历  我们仍以上一节中的...
基于bs4库的HTML内容遍历
xiaoyeren_ITRoad的博客
03-06 293
一、HTML基本格式 本文关于HTML文档树（或者标签树）的遍历，那么HTML的基本格式是什么呢？（从别处找的两张图） 按照遍历的方向来可划分为：上行遍历、下行遍历和平行遍历，html内容中的标签都是有所属关系的（该标签包含那些标签，该标签属于哪个标签）。图中红色箭头表示下行遍历，蓝色箭头表示上行遍历，黄色箭头...
html用div做出一颗树的效果,练手demo之使用js遍历一棵树
weixin_35171603的博客
06-04 481
实现截图功能分析两个区域：一个展示区域，一个操作区域。展示区域以div盒子相套(dom)来描述树的结构，操作区域有三种遍历方式可供选择点击。事件：当点击先序遍历时，div盒子的背景会以遍历顺序依次亮起，以此展示遍历过程，当遍历完成后，页面会恢复原样，以供下一次操作。原理说明先序遍历：即先“根”序遍历，遍历由树的根节点开始，顺序为root->leftChild->rightChild.示...
遍历文档 html,遍历文档内容，得到HTML层级结构(示例代码)
weixin_34811747的博客
06-03 283
嗯。。没发现有写好的，那就自己写一个，刚好自己今天看了DOM操作的知识点，巩固一下。HTML可以表示为一个层次结构，生成的DOM Tree 就是类似与数据结构中的树一样，每个DOM节点都有它的childNodes(动态的类数组对象), parentNode(指向父节点)，nextSibling(下一个兄弟节点)，previousSibling(上一个兄弟节点)，还有辅助类的firstChild和l...
遍历html结构下的整个节点,[数据结构基础] 掌握树的四种遍历方式，以及BFS, DFS...
weixin_35921127的博客
06-20 210
背景上一篇文章， 我们熟悉了树， 二叉树， 二叉搜索树的基本概念， 以及做了对应的实战题目：今天我们继续树这个话题。本文的主要内容包括：理论：树的前中后遍历理论：广度优先搜索理论：深度优先搜索理论：树的层次遍历实战：Leetcode题目演练树是一种比较常见的数据结构， 面试中也比较常见。熟悉树的前中后序遍历，只是让大家明白树的遍历可以有不同的顺序， 实际的应用也比较少， 意义并不大，但是作为基础，...
html遍历无限级树,无限级树构造并遍历输出指定条件叶子
weixin_32804237的博客
07-03 434
目录场景介绍数据实现构造无限级广度优先遍历深度优先遍历完整代码场景介绍最近接到一个需求，需要根据平级结构构造无限级树型结构，界面类似下边这样的结构然后，还需要把所有的橙色标记的叶子节点从垂直方向筛选出来，最终效果就是得到一个这样顺序的一级数组KKKQQQJJJHHHGGGLLL需要根据AAA这个节点和他所有子节点的数据，构造出一个无限级树型结构，如下数据顶级AAA数据{"id":348019,"n...
2021-04-24：树形结构，下/上/平行遍历，prettify（）方法
weixin_44478659的博客
04-26 281
树形结构采用标签的形式来组织，但是标签之间的NavigableString也构成了标签之间的节点。所以任何一个节点的平行/父/子标签可能存在NavigableString类型 1.下行遍历 import requests from bs4 import BeautifulSoup r = requests.get('https://python123.io/ws/demo.html') demo = r.text # 提供demo和解析器 soup = BeautifulSoup(demo, 'htm
学习笔记：BeautifulSoup的3种遍历方式
苏法迪的专栏
12-19 1862
1. 学习视频地址 https://www.bilibili.com/video/BV1pt41137qK?p=23 2. HTML的基本格式-树形结构 <html> | | <head> <body> | | | <title> <p> <p> | | | <b> <a> <a> 3. H
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值