爬虫中xpath 父标签不存在子标签时设置默认值

最新推荐文章于 2023-07-14 16:00:09 发布
最新推荐文章于 2023-07-14 16:00:09 发布
阅读量1.9k 收藏 5
点赞数
分类专栏： python 文章标签： python xpath
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40809627/article/details/84779128
版权

问题：

开发过程中发现问题 ：在某个标签下 的字标签可能存在也可能不存在
当子标签不存在时 拿取父标签下的 text内容
等子标签存在时 给设置个默认值

具体实现方式

response.xpath(
“//div[@class=‘tab-pane’]/table[4]/tbody/tr[4]/td[not(contains(i/@class,‘class -calaaa’))]/text()”).extract_first( default=“已证明”)

通过 not 和contains 函数实现对其的 是否 td 下含有 i 标签的 判断 并设置默认值

lianchaozhao
关注
专栏目录
Scrapy爬虫框架 Spider Middleware 爬虫页中间件
Mr数据杨
09-15 320
在本教程中，我们详细介绍了 Scrapy 中 Spider Middlewares 的基本使用，通过这些中间件方法，开发者可以对爬虫的各个环节进行深度定制，从而更好地适应不同的数据抓取需求。无论是预处理响应数据、过滤或修改输出数据、捕获异常，还是动态调整请求流程，Spider Middlewares 都为爬虫行为的灵活管理提供了强大的工具。在实际应用中，这些中间件不仅能够提高爬虫的效率和可靠性，还能帮助你在复杂的爬虫项目中保持代码的简洁和模块化。
Scrapy爬虫框架 Feed exports 数据文件输出
Mr数据杨
02-01 3万+
在本教程中我们详细探讨了 Scrapy 2.6 版本中 Feed exports 数据文件输出的各个关键环节。通过这些内容，你已经了解了如何灵活地选择和配置不同的序列化格式、存储方式，以及如何通过数据过滤和提交处理来确保数据的质量和可用性。掌握这些技能后，你将能够根据具体的项目需求，自如地调整和优化数据输出流程，确保数据的完整性、准确性和实用性。无论是简单的本地存储，还是复杂的云端解决方案，Scrapy 都为你提供了足够的工具和灵活性，让你在数据抓取项目中游刃有余。
python爬虫xpath出来空值_Python爬虫之数据解析（XPath）
weixin_30072453的博客
02-21 3570
XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历，而将 HTML文档转换成 XML文档后，就可以用 XPath 查找 HTML 节点或元素。XML 文档的特点：XML 文档中的每个成分都是一个节点。整个文档是一个根节点；每个 XML 标签是一个元素节点；包含在 XML 元素中的文本是文本节点；每一个 XML 属性是一个属性节点；注释则属于...
Python scrapy 提取不到字段设置默认值extract_first()
Ming的博客
03-27 1946
使用extract_first()设置默认值 当我们使用scrapy爬虫时，经常用xpath提取信息。但是，当xpath提取不到内容时会返回None值，None值在后续的处理过程中很不友好，所以我们可以使用extract_first()设置默认值。 >>> test = response.css(".lllaaa a").extract_first("默认值") >>...
xpath 获取父级，同级节点
最新发布
yuzhihao_的博客
07-14 2917
5、descendant-or-self 选取当前节点的所有后代元素（子、孙等）以及当前节点本身。6、ancestor-or-self 选取当前节点的所有先辈（父、祖父等）以及当前节点本身。7、preceding-sibling 选取当前节点之前的所有同级节点。8、following-sibling 选取当前节点之后的所有同级节点。10、following 选取文档中当前节点的结束标签之后的所有节点。9、preceding 选取文档中当前节点的开始标签之前的所有节点。11、self 选取当前节点。
UI自动化之xpath定位语法-常用
weixin_46903933的博客
06-27 1602
UI自动化之xpath定位语法-常用
Scrapy爬虫框架 ItemLoader 数据加载器
Mr数据杨
02-01 3万+
在 Scrapy 框架中，ItemLoader是一个用于简化数据提取和清洗的强大工具。它将数据的提取、清洗和加载集中在一起，减少了重复代码，并提高了抓取数据的质量和一致性。通过ItemLoader，可以在抓取数据的过程中应用各种处理逻辑，如格式化、清理和设置默认值等。使用ItemLoader有助于使代码更加简洁和可维护，尤其是当需要对数据进行预处理时。它支持通过add_xpathadd_cssadd_value方法将数据添加到ItemLoader中，并通过方法将数据加载到 Item 对象中。步骤描述。
[Python从零到壹] 四.网络爬虫之入门基础及正则表达式抓取博客案例
杨秀璋的专栏
09-30 2万+
欢迎大家来到“Python从零到壹”，在这里我将分享约200篇Python系列文章，带大家一起去学习和玩耍，看看Python这个有趣的世界。所有文章都将结合案例、代码和作者的经验讲解，真心想把自己近十年的编程经验分享给大家。第四篇文章将开启网络爬虫之旅，首先介绍基础知识及正则表达式的爬虫，希望对您有所帮助，文章中不足之处也请海涵。
Scrapy爬虫框架 Exceptions 异常处理
Mr数据杨
02-01 3万+
在网络爬虫开发过程中，异常处理是确保程序稳定性和可靠性的重要环节。Scrapy 作为一个功能强大的 Python 爬虫框架，提供了丰富的工具和机制来帮助开发者应对各种异常情况。在本指南中，我们详细探讨了如何处理与 Spider、Item、请求、配置及支持相关的异常，这些内容涵盖了爬虫开发的核心领域。在实际应用中，这些异常处理方法不仅可以帮助我们及时发现并解决问题，还可以提高爬虫的健壮性，使其在复杂多变的网络环境中依然能够稳定运行。
xpath对带默认命名空间的xml节点的定位
nercon233的专栏
09-04 4846
最近搞xml的解析，有点收获，但是xml方面的知识太多，不能全部掌握，别人有个xml让我帮解析一下，我用平时写的代码去解析，竟然发现有问题：那个xml是带默认命名空间，文件如下：Sample1.xml"1.0" encoding="UTF-8" ?>    "xmlns://www.fortifysoftware.com/schema/fvdl">      "xmlns:
Xpath定位_1：子找父以及contains的用法
zhujianfeng2373的博客
06-22 2245
先上xml代码，如下图，在写自动化脚本时，需要定位到数字为10334的td元素。td元素的父元素、父的父元素以及属性值都一样；只有同胞元素的元素值不同。以此可以通过先定位到同胞元素，在找到父元素下的期望值。Xpath写：//tbody/tr/td/a[contains(@href,'NameOnly')]/../../td[2] 其中：.. 表示选取当前节点的父节点； 　　　td[2] 表示选取第二个 td元素； 　　　a[contains(@href,'NameOnly')]表示选取href中包含.
xpath返回空值的解决方法
changan
09-11 1090
xpath返回空值的解决方法
python xpath获取一个标签下的所有文本内容（含子标签）
前方的路在刚开始
09-17 5176
title_1=bigtable.xpath("tr/th//text()") 使用后，会得到1个数组 title_1=''.join(title_1) 数组内容拼接
autojs遍历当前页面所有控件_Android自动化测试20--Appium控件定位
weixin_39981400的博客
10-23 1602
Android自动化测试20转帖请注明出处！谢谢～Appium控件定位本章重点自动化测试的关键是要准确的操作测试对象，所以就需要对被测系统的页面元素做精确的定位，本章重点学习Appium的元素定位方法以及定位Api的使用，通过案例详细介绍各个元素定位Api的用法。学习目标掌握UiAutomatorView使用定位元素Api的用法和区别辅助定位控件工具在自动化脚本开发前，熟悉待测应用的UI组件（包括...
xpath判断值是否为给定的值
haimengao的专栏
10-14 2482
xml 文件：
Robot 字典若存在某key的值，即返回value,否则赋一个默认值default
qq_39077650的博客
01-19 6207
目的：如果字典中查找到对应key的值，则取出，否则返回一个默认值 对应场景：配置文件默认值，如果配置则取配置值，如果没有配置则取默认值
xpath —— 父子、兄弟、相邻节点定位方式详解
热门推荐
weixin_44090305的博客
06-15 4万+
1. 由父节点定位子节点最简单的肯定就是由父节点定位子节点了，我们有很多方法可以定位，下面上个例子：对以下代码：<html><body><div id="A"> <!--父节点定位子节点--> &...
xpath 获取当前节点的父节点，兄弟节点的方法
weixin_41514713的博客
08-23 2244
..表示当前节点的父节点 following-sibling::li[1]表示当前节点的兄弟节点中的第 1 个li标签 例： ..表示当前节点的父节点 following-sibling::li[1]表示当前节点的后面的兄弟节点中的第 1 个li标签 ...
XPath语法在爬虫中的应用解析
"爬虫xpath相关规则用于在HTML...XPath是爬虫开发中不可或缺的一部分，熟练掌握XPath的使用能极大提高爬取数据的效率和准确性。在编写爬虫时，应根据目标网页的结构灵活运用XPath规则，以便高效地定位和提取所需数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值