Beautiful Soup_02

已于 2022-11-22 23:49:31 修改
阅读量617 收藏
点赞数
文章标签： javascript 前端 html
于 2022-11-17 23:29:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60255954/article/details/127914134
版权

目录

节点选择器

选择节点

嵌套选择节点

获取子节点及子孙节点

 输出子节点两种方式

  输出子孙节点

获取父节点

获取兄弟节点

方法选择器

find_all方法

1.name参数

2.attrs参数​编辑

 3.text参数

 find方法​编辑

 CSS选择器

嵌套选择节点

获取属性值与文本

节点选择器

节点选择器直接通过节点的名称选择节点,然后使用string属性得到节点内的文本

选择节点

定义html字符串

from bs4 import BeautifulSoup
html="""
<html>
<head>
<meta charset="UTF-8">
<title>演示</title>
</head>
<body>
<div>
<ul>
<li class="item1" value="1234" value2="hello world">
<a href ="https://geekori.com">geekori.com</a>
</li>
<li class="item2"><a href ="https://www.jd.com">京东商城</a></li>
<li class="item3"><a href ="https://www.taobao.com">淘宝</a></li>
<li class="item4" value="1234"><a href ="https://www.microsoft.com">微软</a></li>
<li class="item5"><a href ="https://www.google.com">谷歌</a></li>
</ul>
</div>
</body>
</html>
"""
soup=BeautifulSoup(html,'lxml')
# 获取节点名称
print(soup.title.name)
# 获取节点属性
# 每个节点有0-n个属性,可以用attrs获取节点的所有名称和属性值
print(soup.li.attrs)
print(soup.li.attrs['value2'])
# 如果只是节点的某一个属性值,可以省略attrs
print(soup.li['value2'])
# 获取节点的内容
print(soup.a.string)

soup.li.attrs['value2']或者soup.li['value2']获取的属性值是一个字符串,而xpath是列表

运行结果:d52becdb9dde4a76b6c91548490af5d9.png

from bs4 import BeautifulSoup
html="""
<html>
<head>
    <meta charset="UTF-8">
    <title>演示</title>
</head>
<body>
<div>
    <ul>
        <li class="item1" value="1234" value2="hello world"><a href ="https://geekori.com">geekori.com</a></li>
        <li class="item2"><a href ="https://www.jd.com">京东商城</a></li>
        <li class="item3"><a href ="https://www.taobao.com">淘宝</a></li>
        <li class="item4" value="1234"><a href ="https://www.microsoft.com">微软</a></li>
        <li class="item5"><a href ="https://www.google.com">谷歌</a></li>
    </ul>
</div>
</body>
</html>
"""
soup=BeautifulSoup(html,'lxml')

print(soup.head)
print()
print(type(soup.head))
print()
print(soup.head.title.string)
print()
print(soup.body.div.ul.a['href'])

运行结果:

70fa6aae9f5b42c08da032176ef980ec.png

嵌套选择节点

from bs4 import BeautifulSoup
html="""
<html>
<head>
<meta charset="UTF-8">
<title>演示</title>
</head>
<body>
<div>
    <ul>
        <li class="item1"><a href ="https://www.jd.com">京东商城</a></li>
    </ul>
</div>
</body>
</html>
"""
soup=BeautifulSoup(html,'lxml')
# 选取head节点
print(soup.head)
print()
print(type(soup.head))
print()
head=soup.head
print(head.title.string)
print()
print(soup.body.div.ul.li.a['href'])

运行结果:d7a98f5b33654e148bce42fff02aa332.png

获取子节点及子孙节点

from bs4 import BeautifulSoup
html="""
<html>
<head>
    <meta charset="UTF-8">
    <title>演示</title>
<tag1><a><b></b></a></tag1>
</head>
<body>
<div>
    <ul>
        <li class="item1" value="hello world">
            <a href="https://geekori.com">
                geekori.com
            </a>
        </li>
        <li class="item2"><a href="https://www.jd.com">京东商城</a></li>
    </ul>
</div>
</body>
</html>
"""
soup=BeautifulSoup(html,'lxml')
# 输出head所有直接子节点
print(soup.head.contents) #返回列表，包括（\n）换行符
print(soup.head.children) #返回一个可迭代对象，需要for循环进行迭代
print(type(soup.head.contents))
print(type(soup.head.children))
#获取所有子孙节点，返回一个产生器，需要for循环进行迭代
print(soup.head.descendants) 
print(type(soup.head.descendants))

运行结果：d31e448969ef48b9ba2fcfc7266d7faf.png

 输出子节点两种方式

第一种，使用enumerate()函数，第一个参数迭代对象，第二个参索引起始值

enumerate(sequence, [start=0])

# 对ul中的所有节点进行迭代,并以文本形式输出子节点的内容
for i ,child in enumerate(soup.body.div.ul.contents):
    print(i,child)
print('---------------')

 运行结果;cc48a7e90cd0472f9d703749b9e27e40.png

第二种，不使用enumerate()函数，所以要定义一个变量i保存元素索引

i=1
for child in soup.body.div.ul.children:
    print('<',i,'>',child,end=' ')
    i+=1
print('---------------')

 运行结果：66f7f9fb27af4a2b85be8b41a97d3f26.png

  输出子孙节点

for i,child in enumerate(soup.body.div.ul.descendants):
    print('[',i,']',child)
print('---------------')

运行结果：35e7258ec37c400984e68d80ce1c5d27.png

获取父节点

from bs4 import BeautifulSoup
html="""
<html>
<head>
    <meta charset="UTF-8">
    <title>演示</title>
<tag1><a1><b></b></a1></tag1>
</head>
<body>
<div>
    <ul>
        <li class="item1" value="hello world">
            <a href="https://geekori.com">
                geekori.com
            </a>
        </li>
        <li class="item2"><a href="https://www.jd.com">京东商城</a></li>
    </ul>
</div>
</body>
</html>
"""
soup=BeautifulSoup(html,'lxml')
# 获取<a>的直接父节点
print(soup.a.parent)
# 获取<a>的直接父节点的class属性值
print(soup.a.parent['class'])
# 获取<a>的所有父节点
print(soup.a.parents)
for parent in soup.a.parents:
    print('<',parent.name,'>')

运行结果：

获取兄弟节点

next_sibling属性获得当前节点的下一个兄弟节点
previous_sibling属性获得当前节点的上一个兄弟节点
next_siblings属性获得当前节点后面的所有兄弟节点(可迭代对象)
previous_siblings属性获得当前节点前面的所有兄弟节点(可迭代对象)
PS: \n 换行符也属于一个文本节点

from bs4 import BeautifulSoup
html="""
<html>
<head>
    <meta charset="UTF-8">
    <title>演示</title>
</head>
<body>
<div>
    <ul>
        <li class="item1" value="1234" value2="hello world"><a href ="https://geekori.com">geekori.com</a></li>
        <li class="item2"><a href ="https://www.jd.com">京东商城</a></li>
        <li class="item3"><a href ="https://www.taobao.com">淘宝</a></li>
        <li class="item4" value="1234"><a href ="https://www.microsoft.com">微软</a></li>
        <li class="item5"><a href ="https://www.google.com">谷歌</a></li>
    </ul>
</div>
</body>
</html>
"""
soup=BeautifulSoup(html,'lxml')
# 得到第2个li节点,soup.li.next_sibling值的是文本节点(包括\n节点)
secondli=soup.li.next_sibling.next_sibling
# 输出第2个li节点的代码
print('第1个li节点的下一个li节点:',secondli)
# 获得第2个li节点的上一个同级的li节点,并输出该li节点的class属性的值
print('第2个li节点的上一个li节点的class属性值:',
      secondli.previous_sibling.previous_sibling['class'])
# 输出第2个li节点后的所有节点,包括带换行符的文本节点
print()
for sibling in secondli.next_siblings:
    print(type(sibling))
    if str.strip(sibling.string)=='':
        print('换行')
    else:
        print(sibling)

运行结果:

方法选择器

find_all方法

1.name参数

from bs4 import BeautifulSoup
html="""
<html>
<head>
    <meta charset="UTF-8">
    <title>演示</title>
</head>
<body>
<div>
    <ul>
        <li class="item1" value="1234" value2="hello world"><a href ="https://geekori.com">geekori.com</a></li>
        <li class="item2"><a href ="https://www.jd.com">京东商城</a></li>
    </ul>
    <ul>
        <li class="item3"><a href ="https://www.taobao.com">淘宝</a></li>
        <li class="item4" value="1234"><a href ="https://www.microsoft.com">微软</a></li>
        <li class="item5"><a href ="https://www.google.com">谷歌</a></li>
    </ul>
</div>
</body>
</html>
"""
soup=BeautifulSoup(html,'lxml')
# 搜索所有的ul节点
ulTags=soup.find_all(name='ul')
# 输出ulTags类型
print(type(ulTags))
# 迭代获取的所有ul节点对应的Tag对象

运行结果:

# 迭代获取的所有ul节点对应的Tag对象
for ulTag in ulTags:
    print(ulTag)

 运行结果:

for ulTag in ulTags:
    # 选取当前ul节点下的所有li节点
    liTags=ulTag.find_all(name='li')
    for liTag in liTags:
        print(liTag)

  运行结果:

2.attrs参数

from bs4 import BeautifulSoup
html="""
<div>
    <ul>
        <li class="item1" value="1234" value2="hello world"><a href ="https://geekori.com">geekori.com</a></li>
        <li class="item"><a href ="https://www.jd.com">京东商城</a></li>
    </ul>
    <button id="button1">确定</button>
    <ul>
        <li class="item3"><a href ="https://www.taobao.com">淘宝</a></li>
        <li class="item" value="1234"><a href ="https://www.microsoft.com">微软</a></li>
        <li class="item2"><a href ="https://www.google.com">谷歌</a></li>
    </ul>
</div>
"""
soup=BeautifulSoup(html,'lxml')
# 查询class属性值为item的所有节点
tags=soup.find_all(attrs={'class':'item'})
print(tags)
for tag in tags:
    print(tag)
# 查询class属性值为item2的所有节点
tags=soup.find_all(class_='item2')
print(tags)
# 查询id属性值为button1的所有节点
tags=soup.find_all(id='button1')
print(tags)

运行结果:

 3.text参数

参数可以是字符串,也可以是正则表达式对象

import re
from bs4 import BeautifulSoup
html="""
<div>
    <xyz>hello world</xyz>
    <button>this is a button</button>
    <a href='https://geekori.com'>geekori.com</a>
</div>
"""
soup=BeautifulSoup(html,'lxml')
# 搜索文本为geekori.com的文本节点
tags=soup.find_all(text='geekori.com')
print(tags)
# 搜索文本包含this的文本节点
tags=soup.find_all(text=re.compile('this'))
print(tags)

运行结果:

 find方法

 CSS选择器

基本用法:
需要使用Tag对象的select方法,接受一个字符串类型的CSS选择器
例:
.item (选取class属性值是item的节点)
a (选取节点名为a的节点)
#button (选取id属性值是button的节点)

from bs4 import BeautifulSoup
html="""
<div>
    <ul>
        <li class="item1" value="1234" value2="hello world"><a href ="https://geekori.com">geekori.com</a></li>
        <li class="item"><a href ="https://www.jd.com">京东商城</a></li>
    </ul>
    <button id="button1">确定</button>
    <ul>
        <li class="item3"><a href ="https://www.taobao.com">淘宝</a></li>
        <li class="item" value="1234"><a href ="https://www.microsoft.com">微软</a></li>
        <li class="item2"><a href ="https://www.google.com">谷歌</a></li>
    </ul>
</div>
"""
soup=BeautifulSoup(html,'lxml')
# 选取class属性值是item的所有节点
tags=soup.select('.item')
print(type(tags))
for tag in tags:
    print(tag)
# 选取id属性值是button1的所有节点
tags=soup.select('#button1')
print(tags)
# 选取节点名为a的节点中除了前2个节点外的所有节点
tags=soup.select('a')[2:]
print(type(tags))
for tag in tags:
    print(tag)

运行结果:

嵌套选择节点

跟节点选择器的嵌套相似

from bs4 import BeautifulSoup
html="""
<div>
    <ul>
        <li class="item1" value="1234" value2="hello world"><a href ="https://geekori.com">geekori.com</a></li>
        <li class="item">
            <a href ="https://www.jd.com">京东商城</a>
            <a href ="https://www.google.com">谷歌</a>
        </li>
    </ul>
    <ul>
        <li class="item3"><a href ="https://www.taobao.com">淘宝</a></li>
        <li class="item" value="1234"><a href ="https://www.microsoft.com">微软</a></li>
    </ul>
</div>
"""
soup=BeautifulSoup(html,'lxml')
# 选取class属性值为item的所有节点
tags=soup.select('.item')
print(type(tags))
for tag in tags:
    # 在当前节点中选取节点名为a的所有节点
    aTags=tag.select('a')
    for aTag in aTags:
        print(aTag)
print('----------------')
for tag in tags:
    # 通过方法选择器选取节点名为a的所有节点
    aTags=tag.find_all(name='a')
    for aTag in aTags:
        print(aTag)

运行结果:

获取属性值与文本

from bs4 import BeautifulSoup
html="""
<div>
    <ul>
        <li class="item1" value="1234" value2="hello world"><a href ="https://geekori.com">geekori.com</a></li>
        <li class="item">
            <a href ="https://www.jd.com">京东商城</a>
            <a href ="https://www.google.com">谷歌</a>
        </li>
    </ul>
    <ul>
        <li class="item3"><a href ="https://www.taobao.com">淘宝</a></li>
        <li class="item" value="1234"><a href ="https://www.microsoft.com">微软</a></li>
    </ul>
</div>
"""
soup=BeautifulSoup(html,'lxml')
# 选取class属性值为item的所有节点
tags=soup.select('.item')
print(type(tags))
for tag in tags:
    # 在当前节点中选取节点名为a的所有节点
    aTags=tag.select('a')
    for aTag in aTags:
        # 获取a节点的href属性值和文本内容
        print(aTag['href'],aTag.get_text())
print('----------------')
for tag in tags:
    # 通过方法选择器选取节点名为a的所有节点
    aTags=tag.find_all(name='a')
    for aTag in aTags:
        # 获取a节点的href属性值和文本内容
        print(aTag['href'], aTag.string)

运行结果:

 

Spark_zzz
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python爬虫编程思想（53）：使用Beautiful Soup选择父节点
一个被知识诅咒的人
10-12 1001
如果要选取某个节点的直接父节点，需要使用parent属性，如果要选取某个节点的所有父节点，需要使用parents属性。parent属性返回当前节点的父节点的Tag对象，而parents属性会返回一个可迭代对象，通过for循环可以对该对象进行迭代，并获得当前节点所有的父节点对应的Tag对象。 下面的例子通过parent属性获得a节点的直接父节点，然后使用parents属性获得a节点所有的父节点，并通过迭代，输出a节点所有父节点的标签名。 from bs4 import ...
Beautiful_Soup_中文文档
12-26
Beautiful Soup 是用Python 写的一个HTML/XML 的解析器，它可以很好的处理 不规范标记并生成剖析树(parse tree)。它提供简单又常用的导航 （navigating），搜索以及修改剖析树的操作。它可以大大节省你的编程时 间
BeautifulSoup学习笔记2——父节点，兄弟节点
qq_44732013的博客
03-12 1620
BeautifulSoup学习笔记2——父节点，兄弟节点 1. .parent 返回该节点的父节点，如果不存在则返回None soup.parent #None soup.html """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title"><b>The Dormouse's story</b>
BeautifulSoup中children函数和desscendants函数的区别
ShiLihepan的博客
06-15 1360
我们将通过下面的举例来说明两个函数的区别首先打开一个网页https://blog.csdn.net/xiaohukun/article/details/77679134这是一篇博客，审查元素，选取如下图元素使用children函数，代码为from urllib import requestfrom bs4 import BeautifulSoupif __name__ == '__main__':...
Beautiful Soup_01
m0_60255954的博客
11-16 66
编写一段Beautiful Soup程序。
Beautiful Soup 4.4.0 文档 chm
01-02
Beautiful Soup 4.4.0 文档 Beautiful Soup 4.4.0 文档 Beautiful Soup 4.4.0 文档
Beautiful Soup 4.4.0 文档
03-01
Beautiful Soup 4.4.0 文档
Beautiful_Soup中文文档.pdf
08-14
Beautiful_Soup中文文档.pdf
openlayers绘制经纬网格，有添加或者移除功能
qq_52959651的博客
05-21 117
我的项目是vue写的，当点击多选框显示隐藏经纬网格，下面直接写代码。项目需要在地图中添加经纬网格，然后看了一下官网有相关的介绍。这是删除图层相关的网站。这是绘制经纬网格方法。
ant design DatePicker日期选择框指定分钟的间隔minuteStep属性
u010234868的专栏
05-17 196
在上面的例子中，DatePicker 将只允许用户以 15 分钟为间隔选择分钟。是 Ant Design 的 TimePicker时间选择框组件的一个属性。设置为 30，则用户可以选择以 30 分钟为间隔的分钟值。如果你想让分钟选项只能以 15 分钟为间隔选择，你可以将。
Vue.js的发展史（一）
2301_79683791的博客
05-15 758
Vue (发音为 /vjuː/，类似view) 是一款用于构建用户界面的 JavaScript 框架。它基于标准 HTML、CSS 和 JavaScript 构建，并提供了一套声明式的、组件化的编程模型，帮助你高效地开发用户界面。无论是简单还是复杂的界面，Vue 都可以胜任。来源官方解释-----简介 | Vue.js (vuejs.org)简单来说：Vue是一个属于JS的库，可直接引入一个JS文件就可以使用，与传统JS和JQuery框架不同，Vue的渐进式框架。
Vue3详细讲解
贫僧法号依平
05-15 855
Vue 3 介绍为什么要学习 vue 3Vue3 动机 和 新特性Vite 的使用vite介绍为什么选 Vite？Vite 的基本使用Vue3.0项目介绍vscode插件说明组合式API体验 composition APIsetup 函数reactive 函数ref 函数script setup语法(★)案例：显示鼠标案例计算属性computed函数侦听器watch函数钩子函数的使用组件通讯-父传子组件通讯-子传父依赖注入 - provide 和 inject模板中 ref 的使用vue3中废弃了过滤器。
echarts的柱状图使用
qq_45331969的博客
05-15 188
【代码】echarts的柱状图使用。
Vue从入门到实战Day07
最新发布
ltt159264的博客
05-21 583
目标：明确vuex是什么，应用场景，优势vuex是一个vue的状态管理工具，状态就是数据。大白话：vuex是一个插件，可以帮助我们管理vue通用的数据（多组件共享的数据）①某个状态在很多个组件来使用（个人信息）②多个组件共同维护一份数据（购物车）①共同维护一份数据，数据集中化管理；②响应式变化；③操作简洁（vuex提供了一些辅助函数）。
vue3专栏项目 -- 五、权限管理（下）
m0_64931189的博客
05-15 819
我们这一系列做的就是，我们刚开始做了message组件，我们可以直接在某个组件中通过即可调用这个message组件，从而展示出这个提示信息框但是我们觉得它可以像以前用过的alert一样，直接通过一个函数调用就可以展示出这个组件，所以有了如下一步步改进：
jQuery知识点（二）
shsjssnn的博客
05-21 464
1.获取节点： 通过各种选择器或选择器的组合来获取想要的网页元素。 2.创建节点： 元素节点通过工厂函数$()直接创建，文本节点和属性节点可以随着元素节点创建时一起创建，也可以通过先创建元素节点，再使用操作内容和属性的方法产生。 3.插入节点： append()、prepend(): 是父元素的方法 appendTo()、prependTo(): 是要插入的节点的方法 before()、after(): 是要插入
【MySQL精通之路】AdminAPI-使用
Anakki的博客
05-19 679
本文介绍MySQL SHELL提供的MySQL AdminAPI，使您能够，使用它们创建和，并集成。
vue2vue3为什么el-table树状表格失效?
m0_73854403的博客
05-21 65
从后端拿到数据后，递归去掉该字段，然后就能正常显示。（复制下方代码，直接用）上图所示，后端返回字段中有hasChildren字段。
beautiful soup soup
03-30
Beautiful Soup is a Python library used for web scraping purposes to extract the data from HTML and XML files. It provides a simple and easy-to-use interface for parsing HTML and XML documents by traversing the parse tree for data extraction. It is widely used for data mining, data analysis, and data visualization tasks. Beautiful Soup can be installed using pip and supports various Python versions.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值