爬虫笔记15：bs4中的select()方法、修改文档树

最新推荐文章于 2024-03-29 23:51:53 发布
最新推荐文章于 2024-03-29 23:51:53 发布
阅读量1.2k 收藏 6
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49167820/article/details/116859209
版权

一、select（）方法
我们可以通过css选择器的方式来提取数据。但是需要注意的是这里面需要我们掌握css语法。

select（）返回的是列表形式。

1、常用的几个查找方式：

from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""
soup = BeautifulSoup(html_doc,"lxml")
# 1 找a标签
print(soup.select('a')) # 通过标签的名称查找
# 2 通过类名来查找:class="sister"
print(soup.select('.sister'))
# 3 通过id查找:id="link1"
print(soup.select('#link1'))
# 4 特殊的查找方式：选择父元素是 <head> 的所有 < title> 元素。注意是'head > title'，不是'head' > title'
print(soup.select('head > 'title')) 
# 5 获取文本内容
print(soup.select('title')[0].string)
print(soup.select('title')[0].get_text())

结果：
在这里插入图片描述
更加详细的介绍，可以参考：https://www.w3school.com.cn/cssref/css_selectors.asp
实际上掌握以上几个就够用了。

2、获取所有class=even的tr标签

trs = soup.select('.even')
print(trs)

或者：

trs = soup.select('tr[class="even"]')
print(trs)

3、stripped_strings返回的是一个generator生成器，通过list()显示出来。

from bs4 import BeautifulSoup

html = """
<table class="tablelist" cellpadding="0" cellspacing="0">
    <tbody>
        <tr class="h">
            <td class="l" width="374">职位名称</td>
            <td>职位类别</td>
            <td>人数</td>
            <td>地点</td>
            <td>发布时间</td>
        </tr>
        <tr class="even">
            <td class="l square"><a target="_blank" href="position_detail.php?id=33824&keywords=python&tid=87&lid=2218">22989-金融云区块链高级研发工程师（深圳）</a></td>
            <td>技术类</td>
            <td>1</td>
            <td>深圳</td>
            <td>2017-11-25</td>
        </tr>
        <tr class="odd">
            <td class="l square"><a target="_blank" href="position_detail.php?id=29938&keywords=python&tid=87&lid=2218">22989-金融云高级后台开发</a></td>
            <td>技术类</td>
            <td>2</td>
            <td>深圳</td>
            <td>2017-11-25</td>
        </tr>
        <tr class="even">
            <td class="l square"><a target="_blank" href="position_detail.php?id=31236&keywords=python&tid=87&lid=2218">SNG16-腾讯音乐运营开发工程师（深圳）</a></td>
            <td>技术类</td>
            <td>2</td>
            <td>深圳</td>
            <td>2017-11-25</td>
        </tr>
        <tr class="odd">
            <td class="l square"><a target="_blank" href="position_detail.php?id=31235&keywords=python&tid=87&lid=2218">SNG16-腾讯音乐业务运维工程师（深圳）</a></td>
            <td>技术类</td>
            <td>1</td>
            <td>深圳</td>
            <td>2017-11-25</td>
        </tr>
        <tr class="even">
            <td class="l square"><a target="_blank" href="position_detail.php?id=34531&keywords=python&tid=87&lid=2218">TEG03-高级研发工程师（深圳）</a></td>
            <td>技术类</td>
            <td>1</td>
            <td>深圳</td>
            <td>2017-11-24</td>
        </tr>
        <tr class="odd">
            <td class="l square"><a target="_blank" href="position_detail.php?id=34532&keywords=python&tid=87&lid=2218">TEG03-高级图像算法研发工程师（深圳）</a></td>
            <td>技术类</td>
            <td>1</td>
            <td>深圳</td>
            <td>2017-11-24</td>
        </tr>
        <tr class="even">
            <td class="l square"><a target="_blank" href="position_detail.php?id=31648&keywords=python&tid=87&lid=2218">TEG11-高级AI开发工程师（深圳）</a></td>
            <td>技术类</td>
            <td>4</td>
            <td>深圳</td>
            <td>2017-11-24</td>
        </tr>
        <tr class="odd">
            <td class="l square"><a target="_blank" href="position_detail.php?id=32218&keywords=python&tid=87&lid=2218">15851-后台开发工程师</a></td>
            <td>技术类</td>
            <td>1</td>
            <td>深圳</td>
            <td>2017-11-24</td>
        </tr>
        <tr class="even">
            <td class="l square"><a target="_blank" href="position_detail.php?id=32217&keywords=python&tid=87&lid=2218">15851-后台开发工程师</a></td>
            <td>技术类</td>
            <td>1</td>
            <td>深圳</td>
            <td>2017-11-24</td>
        </tr>
        <tr class="odd">
            <td class="l square"><a id="test" class="test" target='_blank' href="position_detail.php?id=34511&keywords=python&tid=87&lid=2218">SNG11-高级业务运维工程师（深圳）</a></td>
            <td>技术类</td>
            <td>1</td>
            <td>深圳</td>
            <td>2017-11-24</td>
        </tr>
    </tbody>
</table>
"""
soup = BeautifulSoup(html,"lxml")
trs = soup.select('tr')[1:]
#print(trs)
tr=trs[0]
print(tr)
print(type(tr.stripped_strings)) 
print(list(tr.stripped_strings))    #stripped_strings返回的是一个generator生成器，通过list()显示出来

结果：
在这里插入图片描述
结合for循环：
在这里插入图片描述

二、修改文档树
• 修改tag的名称和属性
• 修改string：属性赋值,就相当于用当前的内容替代了原来的内容
• append() 向tag中添加内容,就好像Python的列表的 .append() 方法
• decompose() 删除段落，对于一些没有必要的文章段落我们可以给他删除掉

1、修改tag的名称和属性
在这里插入图片描述
2、修改string：属性赋值,就相当于用当前的内容替代了原来的内容
在这里插入图片描述
3、 append() 向tag中添加内容,就好像Python的列表的 .append() 方法。

from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

soup = BeautifulSoup(html_doc,"lxml")
tap_p = soup.p
print(tap_p)
#print(tap_p.string)
tap_p.string = 'you need python'
print(tap_p)

tap_p.append('123')
print(tap_p)

结果：
在这里插入图片描述
4、decompose() 删除段落
在这里插入图片描述

进阶的阿牛哥
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
网络爬虫（二） BS4提取之Selector
12-21
网络爬虫（二） BS4提取之Selector 2.1 Selector爬取酷狗top500 2.1.1 环境配置 第一步：下载谷歌浏览器 第二步：安装bs4，requests库 打开 cmd 命令行（win + r） 输入 pip install bs4 完成bs4模块安装。 输入 pip install requests 完成requests模块安装。 2.1.2 可能遇到的安装错误 如果执行 pip install bs4 后报错为“pip 不是可执行的命令”，将pip 的路径加入环境变量即可 2.1.3 构造请求网址 提供URL如下： https://www.kugou.com/yy/r
bs4中select方法的学习
weixin_46700209的博客
05-11 3248
从以下文本中查找 html_doc = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title"><b>The Dormouse's story</b></p> <p class="story">Once upon a time there were three l.
利用BS4的select及find_all查找HTML常见的元素和属性
book_dw5189的博客
03-29 1229
BeautifulSoup库的主要优点是它的易用性和简洁的API，使得处理复杂的HTML和XML文档变得简单。
bs4中select函数使用
supercaesar的博客
09-22 5043
在使用python编写爬虫程序时对于bs4中select函数的使用一直有点迷糊，所以在此记录一些片段化的知识。 1、select函数的使用 1.1 获取HTML文件 在使用bs4这个库之前需要使用先使用requests库将目标网页的html文件调用过来。 headers = {'sec-ch-ua': '"Google Chrome";v="93", " Not;A Brand";v="99", "Chromium";v="93"', 'sec-ch-ua-mobile':'?0',
bs4_3select()
weixin_34235105的博客
03-02 109
sklearn实战-乳腺癌细胞数据挖掘 https://study.163.com/course/introduction.htm?courseId=1005269003&amp;utm_campaign=commission&amp;utm_source=cp-400000000398149&amp;utm_medium=share       ...
python爬虫 bs4_4select()教程
weixin_34413802的博客
03-02 1064
  http://www.w3.org/TR/CSS2/selector.html 5 Selectors Contents 5.1 Pattern matching 5.2 Selector syntax 5.2.1 Grouping 5.3 Universal selector 5.4 Type selectors 5.5 Descendant selec...
python爬虫学习笔记 2.9 （使用bs4得案例）
12-21
python爬虫学习笔记 2.9 （使用bs4得案例） python爬虫学习笔记 1.1（通用爬虫和聚焦爬虫） python爬虫学习笔记 1.2 （ HTTP和HTTPS ） python爬虫学习笔记 1.3 str和bytes的区别 python爬虫学习笔记 1.4 （Request...
爬虫学习笔记：爬取古诗文网
12-21
爬取目标网站的文本，如古诗的内容，作者，朝代，并且保存到本地中。 &nbsp;3、爬虫程序 # -*- coding:utf-8 -*- #爬取古诗网站 import requests import re #下载数据 def write_data(data): with open('诗词.txt','a...
Python爬虫使用bs4方法实现数据解析
09-16
主要介绍了Python爬虫使用bs4方法实现数据解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Python爬虫BS4库的解析器正确使用方法
12-21
bs4解析器的选择 网络爬虫的最终目的就是过滤选取网络信息，最重要的部分可以说是解析器。解析器的优劣决定了爬虫的速度和效率。bs4库除了支持我们上文用过的‘html.parser’解析器外，还支持很多第三方的解析器，...
学习笔记（23):150讲轻松搞定Python网络爬虫-bs4-select方法
qq_39953480的博客
12-18 357
【为什么学爬虫？】 &nbsp; &nbsp; &nbsp; &nbsp;1、爬虫入手容易，但是深入较难，如何写出高效率的爬虫，如何写出灵活性高可扩展的爬虫都是一项技术活。另外在爬虫过程中，经常容易遇到被反爬虫，比如字体反爬、IP识别、验证码等，如何层层攻克难点拿到想要的数据，这门课程，你都能学到！ &nbsp; &nbsp; &nbsp; &nbsp;2、如果是...
bs4解析select方法
qq_41477300的博客
10-25 623
bs4中select方法的学习_最低调的奢华的博客-CSDN博客_bs4 select bs4中select的用法 - 搜索结果 - 知乎
爬虫(09)bs4(下) select()方法+修改文档树+天气信息案例
m0_46738467的博客
01-15 1172
文章目录1. select()方法2. 修改文档树3. 爬取天气信息3.1 思路分析3.2 实践步骤4. slenium介绍 1. select()方法 我们也可以通过css选择器来提取数据，但需要我们掌握一些css语法。具体可以参考网页 css选择器参考手册。 2. 修改文档树 3. 爬取天气信息 3.1 思路分析 3.2 实践步骤 4. slenium介绍 ...
Python爬虫之bs4数据解析select方法
且听风吟
07-18 3228
select作用如其名，筛选，通过指定的类、标签、id，层级查找 1.通过类查找 from bs4 import BeautifulSoup soup.select('.class名称') 2.通过ID查找 soup.select('#id名称') 3.通过标签名查找 soup.select('标签名') 4.层级查找 soup.select('.tang > ul > li > a') # 中间如果加上空格，表示多个层级。 ...
用bs4转后，用select定位
black000shirt的博客
11-08 469
转为bs4对象后，用select定位 soup.select(‘div’) 所有名为的元素 soup.select(’#author’) 带有id属性，且id为author soup.select(’.notice’) 所有使用CSS class属性，且为notice的 soup.select(‘div span’) 之间的 soup.select(‘div>span’) 之间的，中间没有其他元素 soup.select(‘input[name]’) 有一个name属性的input so
BS4 select 方法取值
LY的博客
12-15 4411
# -*- coding: utf-8 -*- import requests from bs4 import BeautifulSoup html=requests.get('http://vip.stock.finance.sina.com.cn/corp/view/vCB_BulletinGather.php?page='+str(1)) html.encoding='gbk' pri...
基于TC72（SPI接口）温度传感器、STM32F103C8T6、LCD1602、FREERTOS的温度采集proteus仿真
最新发布
05-21
spi
ehcache-core-2.6.9.jar
05-21
javaee/javaweb常用jar包，亲测可用，导入到java工程中即可使用
netty-transport-native-unix-common-4.1.51.Final.jar
05-21
javaEE javaweb常用jar包 ， 亲测可用，下载后导入到java工程中使用。
python爬虫循环翻页bs4
04-10
在Python中使用爬虫循环翻页和bs4进行网页数据抓取的一般步骤如下： 1. 导入所需的库： ```python import requests from bs4 import BeautifulSoup ``` 2. 发送HTTP请求获取网页内容： ```python url = "要爬取的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值