基于bs4库的html内容遍历方法

最新推荐文章于 2024-02-20 21:40:50 发布
最新推荐文章于 2024-02-20 21:40:50 发布
阅读量300 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WangaWen1229/article/details/105911996
版权

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

>>> import requests
>>> r=requests.get("http://python123.io/ws/demo.html")
>>> demo=r.text
>>> demo
'<html><head><title>This is a python demo page</title></head>\r\n<body>\r\n<p class="title"><b>The demo python introduces several python courses.</b></p>\r\n<p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:\r\n<a href="http://www.icourse163.org/course/BIT-268001" class="py1" id="link1">Basic Python</a> and <a href="http://www.icourse163.org/course/BIT-1001870001" class="py2" id="link2">Advanced Python</a>.</p>\r\n</body></html>'
>>> from bs4 import BeautifulSoup
>>> soup=BeautifulSoup(demo,"html.parser")
>>> soup.head
<head><title>This is a python demo page</title></head>
>>> soup.head.contents
[<title>This is a python demo page</title>]
>>> soup.body.contents
['\n', <p class="title"><b>The demo python introduces several python courses.</b></p>, '\n', <p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:
<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a> and <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>.</p>, '\n']
>>> len(soup.body.contents)
5
>>> soup.body.contents[1]
<p class="title"><b>The demo python introduces several python courses.</b></p>

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

>>> soup.title.parent
<head><title>This is a python demo page</title></head>
>>> soup.html.parent
<html><head><title>This is a python demo page</title></head>
<body>
<p class="title"><b>The demo python introduces several python courses.</b></p>
<p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:
<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a> and <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>.</p>
</body></html>
>>> soup.parent
>>> soup.a.next_sibling
' and '
>>> soup.a.next_sibling.next_sibling
<a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>
>>> soup.a.previous_sibling
'Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:\r\n'
>>> soup.a.previous_sibling.previous_sibling
>>> soup.a.parent
<p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:
<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a> and <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>.</p>

在这里插入图片描述
在这里插入图片描述
在下行遍历中：.contents 返回列表类型，.children和.descendants返回迭代类型 只能用做for循环语句中。
在上行遍历中：.parent返回当前节点的父亲节点，.parents返回当前节点的所有先辈节点。
在平行遍历中：.next_siblings和.previous_siblings是迭代类型。只能用作for.in的结构中

王阿文要努力啊
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于python中BS库的Html源码整理
12-21
我们可以创建一个继承自`HTMLParser`的子类，并重写其方法来处理遇到的不同类型的HTML标签和内容。例如，可以覆盖`handle_starttag`和`handle_data`方法来分别处理开始标签和文本数据。 ```python from ...
bs4库BeautifulSoup函数 解析网页数据
我还起舞了的博客
03-29 659
下列以代码形式逐步介绍BeautifulSoup函数 from bs4 import BeautifulSoup # 取出打开文件 file = open('/Users/zhonglongsheng/Desktop/钟龙生/电影天堂.html','rb') # 读取文档 html = file.read().decode('utf-8') # 解析文档 bs = BeautifulSoup(html,'html.parser')r print(bs.title) # 取出的内容包括title关键字
爬虫入门三（bs4模块、遍历文档树、搜索文档树、css选择器、selenium介绍与安装、无界面浏览器、搜索标签即其他操作、等待元素、执行JS代码、切换选项卡、模拟浏览器前进后退、selenium登）
最新发布
Mchen的博客
02-20 461
文件中提取数据的Python库,用它来解析爬取回来的xml。
python爬虫小练习之二：bs4库以及遇到的问题
STAR_LORD
02-22 2410
简单爬取猫途鹰旅游网信息 [https://www.tripadvisor.cn/Attractions-g60763-Activities-New_York_City_New_York.html] 内容就是这样的，爬取标题，图片地址，以及标签 下面代码 from bs4 import BeautifulSoup import requests url = 'https://ww...
HTML 纯前端使用数据库
墨鱼菜鸡
09-01 4036
纯前端使用前端数据库。 案例1 <html> <head> <meta charset="utf-8"> <script> var 数据表 = null; //4个参数分别是 数据库名,版本号，数据库的描述，数据库大小 var 数据库 = openDatabase('MyData','1.0版','我的数据库描述',102400); //初始化页面...
python基于BeautifulSoup实现抓取网页指定内容的方法
09-21
from bs4 import BeautifulSoup ``` 接着，定义了一个名为`jd`的函数，该函数接收一个URL作为参数，目的是从这个URL对应的网页中提取特定内容。在这个函数中，我们首先通过`urllib2.urlopen(url)`打开网页，然后...
python,html,内容提取过滤器
07-14
BeautifulSoup是一个用于解析HTML和XML文档的Python库，它通过创建一个解析树来表示整个文档结构，使得我们可以方便地遍历和搜索这个树，从而提取所需内容。例如，你可以通过元素的tag名、class属性或者ID来找到特定...
bs4-reptile 爬虫
08-26
bs4-reptile 是一个基于 Python 的网络爬虫框架，利用了 BeautifulSoup（简称 bs4）库来解析 HTML 和 XML 文档，实现高效的数据提取。爬虫是信息技术领域中用于自动化地从互联网上获取大量数据的一种工具。在大数据...
基于BS架构微博系统任务书.docx
07-01
jQuery是一个快速、简洁的JavaScript库，简化了HTML文档遍历、事件处理、动画等操作；Ajax是一种在无需重新加载整个网页的情况下，能够更新部分网页的技术。 4. **后端技术栈**：后端开发使用了Java语言结合Spring...
基于bs4库的HTML内容遍历方法、格式输出和内容查找
AI算法联盟
02-08 985
一、HTML基本格式 从图中看出，HTML遍历有三种方法：下行遍历、上行遍历、平行遍历 1.标签树的下行遍历 属性 说明 .contents 子节点的列表，将<tag>所有儿子节点存入列表 .children 子节点的迭代类型，与.contents类似，用于循环遍历儿子节点 .descendants 子孙节点的迭代类型，包含所有子孙节点...
基于bs4库的HTML内容遍历方法
weixin_30505751的博客
06-30 166
1、HTML基本格式（树形结构） 　　　 2、标签树的下行遍历 　　 #使用contents对标签树进行遍历 import requests from bs4 import BeautifulSoup #BeautifulSoup是一个类 r = requests.get('http://python123.io/ws/demo.html') # print(r.text...
【Beautiful Soup库】{2} ——基于bs4库的HTML内容遍历方法
Giyn
03-16 598
回顾一下demo.html： HTML基本格式： 把 HTML代码做一个结构化的设计，我们可以发现，这个demo配置，是一个具有树形结构的文本信息，里面有很多标签，标签标明了信息结构的逻辑关系。 标签树的下行遍历： 属性 说明 .contents 子节点的列表，将< tag >所有儿子节点存入列表 .children 子节点的迭代类型，与.contents类似...
基于bs4的遍历方法及bs4库的HTML格式化和编码
NY_YN的博客
12-23 755
一、、基于bs4的遍历方法 1.html基本格式 2.便签树的遍历方法 （1）标签树的下行遍历 属性 说明 .contents 子节点的列表，将所有儿子节点存入列表 .children 子节点的迭代类型，与.content类似，用于循环遍历儿子节点 .descendants 子孙节点的迭代类型，包含所有子孙节点，用于循环遍历 遍历儿子节点 for child in soup.body.children: print(child) 遍历子孙节点 for child in sou
基于bs4库中的html内容的遍历方法,html格式化和编码
共勉
11-24 241
标签树的下行遍历 所用到的方法：（如下表） .contents 子节点列表，将tag所有儿子节点存入列表 .children 子节点的迭代类型，用于循环遍历儿子节点 .descendants 子孙节点的迭代方式，包含所有子孙节点，用于循环遍历 代码如下：（此处代码延着上一篇博文的代码，故部分变量沿袭下来） 博文链接： 遍历body标签的所有子孙节点 >>&g...
基于bs4库的HTML内容遍历
xiaoyeren_ITRoad的博客
03-06 292
一、HTML基本格式 本文关于HTML文档树（或者标签树）的遍历，那么HTML的基本格式是什么呢？（从别处找的两张图） 按照遍历的方向来可划分为：上行遍历、下行遍历和平行遍历，html内容中的标签都是有所属关系的（该标签包含那些标签，该标签属于哪个标签）。图中红色箭头表示下行遍历，蓝色箭头表示上行遍历，黄色箭头...
基于bs4的HTML内容遍历方法
Mind_programmonkey的博客
08-02 2425
1.HTML基本格式   2.标签树的下行遍历   属性                            说明 .contents      子节点的列表，将所有儿子节点存入列表 .children      子节点的迭代类型，与.content类似，用于循环遍历儿子节点 .descendants   子孙节点的迭代类型，包含所有子孙节点，用于循环遍历   遍历儿子节点
基于bs4库的HTML内容遍历与输出
amf12345的博客
03-03 819
bs4库可以对HTML页面进行遍历，分为三种，下行遍历、上行遍历和平行遍历 标签树的下行遍历 属性 说明 .contents 子节点的列表，将<tag>所有儿子存入列表 .children 子节点的迭代类型，与.content类似，用于循环遍历儿子节点 .descendants 子孙几点的迭代类型，包含所有的子孙节点，用于循环遍历 代码如下...
和requests库以及bs4库平行的爬取库有哪些？
04-10
除了requests库与bs4库，还有其他的爬取库，如： - scrapy：基于Python的爬虫框架，适用于大规模爬取数据。 - lxml：Python的HTML和XML解析库，也可以用于网页爬取。 - selenium：基于浏览器自动化的爬虫库，可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值