xpath遍历表单的指定元素

已于 2024-07-29 17:18:04 修改
阅读量202 收藏 1
点赞数 10
文章标签： python 爬虫 selenium rpa
于 2024-07-29 17:16:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xpy745201314/article/details/140775481
版权

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

问题

当使用xpath表达式去遍历表单数据时，如果直接复制浏览器定位的xpath表达式，只能定位到特点位置的元素，无法动态去进行遍历
在这里插入图片描述

例子

例如我们要遍历下图中的table表单下每一行tr的计划号元素，如果直接复制xpath路径是
//*[@id=“tb_detial2”]/tbody/tr[2]/td/table/tbody/tr[1]/td[3]，这个只能定位到这一个元素
在这里插入图片描述

代码

定位到表单table的tr元素，可以看到一共有8个tr，定位这个tr元素直接复制浏览器的xpath路径即可，得到元素组Rows

Rows=driver.find_elements(By.XPATH,'//*[@id="tb_detial2"]/tbody/tr')

用for循环遍历Rows

for row in Rows:
		planId=row.find_element(By.XPATH,'.//td/table/tbody/tr[2]/td[2]/input').get_attribute("value")

其中.//td/table/tbody/tr[2]/td[2]/input 表达式，是根据当前的每一行元素去进行定位的，这样子就能根据每一行的tr去遍历得到相应的计划号元素

拱白兔的猪
关注
  • 10
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
XPath 教程
goldm68的博客
01-26 768
XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。XPath 是 W3C XSLT 标准的主要元素，并且 XQuery 和 XPointer 都构建于 XPath 表达之上。因此，对 XPath 的理解是很多高级 XML 应用的基础。XPath 用于在 XML 文档中通过元素和属性进行导航。在学习之前应该具备的知识：在您继续学习之前，应该对下面的知识有基本的了解：XML / XML 命名空间什么是 XPath?
浅识XPath（熟练掌握XPath的语法）
weixin_43740011的博客
05-08 767
XPath是一种用于在XML和HTML文档中定位和遍历元素的语言。在Web开发中，XPath是非常重要的技能之一。掌握XPath的语法可以帮助开发人员更快速地解析和提取数据。
【Python爬虫开发基础⑧】XPath库及其基本用法
z135733的博客
06-27 2390
XPath（XML Path Language）是一种用于在HTML和XML文档中定位和选择节点的语言。它提供了一种简洁而强大的方式来对HTML和XML文档进行遍历和操作。路径表达式：XPath使用路径表达式从根节点开始，沿着节点之间的层级关系依次定位目标节点。常见的路径表达式有以下几种形式：表达式意义表示从根节点开始选择。//表示在整个文档中选择节点。。(点)表示当前节点。。。(两个点)表示当前节点的父节点。nodeName表示选择指定名称的节点。谓语。
python爬虫之xpath的基本使用(案例)
weixin_59862023的博客
04-06 1265
一、简介 XPath 是一门在 XML 文档中查找信息的语言。 XPath 可用来在 XML 文档中对元素和属性进行遍历。 XPath 是 W3C XSLT 标准的主要元素，并且 XQuery 和 XPointer 都构建于 XPath 表达之上。 二、安装 pip install lxml 三、使用 from lxml import etree #定义字符串变量 wb_data = """ <div> &lt
python遍历网页节点并记录xpath
robinfoxnan的专栏
09-16 1102
遍历html文件，找到能点击的节点
Python自动化xpath实现自动抢票抢货
09-24
代码中的`for`循环就体现了这一点，它遍历了一个范围内的页码，每次迭代都会执行一系列操作，如下载结果、点击链接、提交表单等。 特别注意，由于这些操作涉及到真实网页，可能会触发反爬机制，因此在实际应用时，...
Jquery 表单取值赋值的一些基本操作
10-29
本文将详细介绍如何使用 JQuery 进行表单元素的取值和赋值操作，并深入探讨 JQuery 提供的各种高级选择器。 #### 二、表单取值与赋值基础 在 Web 开发中，表单数据的获取和设置是常见需求之一。使用 JQuery 可以...
Python Selenium 获取动态网页指定元素的超链接.pdf
05-08
在Selenium中，XPath表达式经常用于定位网页元素，以便进行点击、填写表单等操作。 在Selenium的实际应用中，获取动态网页的超链接往往需要处理页面加载延迟的问题。我们可以设置`implicitly_wait()`函数，设定一个...
XPath递归下降分析 简单Servlet界面
03-23
XPath递归下降分析是XML处理中的一个重要概念，它允许我们以层次结构的方式遍历XML文档。XPath（XML Path Language）是一种在XML文档中查找信息的语言，它可以用来选取节点、评估表达式以及执行对XML文档的操作。...
XPath遍历输出XML所有叶子节点
坚果壳不是硬壳的专栏
11-29 7960
XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。 XPath 是 W3C XSLT 标准的主要元素，并且 XQuery 和 XPointer 都构建于 XPath 表达之上。 W3School 提供了详细的XPath教程。http://www.w3school.com.cn/xpath/ 本文所展示的遍历算法参考自
小笔记-简单但够用系列_selenium xpath 历遍元素踩坑记录
迷途小羔羊--NYTWTYN的博客
08-27 660
selenium 使用 xpath 获取以下的 h4 元素文本并进行历遍点击。 但xpath定位时一直只能定位到第一个元素内容，不能形成列表进行历遍。 xml 示例文件 ... <div id="floor-user-profile_485"> <h1> <h2> <h3> <h4>1</h4> </h3> <h3> <h4>2</h4> &l
python使用xpath语言解析遍历HTML\XML 文档中元素，属性以及xpath的基本认识，xpath_helper的简单使用
weixin_55579895的博客
09-23 1733
为什么要学习xpath和lxml lxml是一款高性能的 Python HTML/XML 解析器，我们可以利用XPath（解析的语言），来快速的定位特定元素以及获取节点信息 lxml库需要安装 安装语句： 在cmd命令行中输入：pip install lxml 如果安装lxml库出错，建议自行百度查找方法 什么是xpath XPath (XML Path Language) 是一门在 HTML\XML 文档中查找信息的语言，可用来在 HTML\XML 文档中对元素和属性进行遍历。 W3School官方文
XPath的用法
喜羊羊love红太狼
06-01 237
场景：今天做项目的时候遇到解析xml,见到了公司项目中用到了Xpath，感觉很新鲜记录一下（公司项目代码如下）。 String fileName = displayText; int ext = displayText.indexOf("."); Document datumInfo = amService.getDatumTree(bizDefGuid, bizInstGuid,category, recordNumber); //String...
Python爬虫之xpath的详细使用（爬虫）
热门推荐
墨痕诉清风的博客
07-13 3万+
8、上面我们使用绝对路径，查找了所有a标签的属性等于href属性值，利用的是/---绝对路径，下面我们使用相对路径，查找一下l相对路径下li标签下的a标签下的href属性的值，注意，a标签后面需要双//。7、上面我们找到全部都是绝对路径（每一个都是从根开始查找），下面我们查找相对路径，例如，查找所有li标签下的a标签内容。3、获取某个标签的内容(基本使用)，注意，获取a标签的所有内容，a后面就不用再加正斜杠，否则报错。5、打印指定路径下a标签的属性（可以通过遍历拿到某个属性的值，查找标签的内容）
xpath 获取某个标签下的所有子节点
sydjcwx
08-28 1万+
//div[@class="main"]//span[@id="address"]//d | //e 或者 //div[@class="main"]//span[@id="address"]/*
用xpath获取该标签下的所有子标签和文本
legendary_Dragon的博客
08-20 6635
xpath获取该节点下（所有标签和文本组成的字符串） 需要获取子标签以及文本内容时使用此方法，如果只是想获取所有子标签里面的文本，参考另一篇博客。 from lxml import etree html = """<div class="box"><h1> Keywords <span></span></h1><div><p>关键字内容</p></div></div>""" doc =
xpath过滤标签内的其他标签获得全部内容
gaoyang8320的博客
06-18 1万+
最近在爬一个网站https://www.malwaredomainlist.com/mdl.php主要是把表格中的数据爬下来 在浏览器中审查元素可知，所需要的数据在一个table标签中，如下图所示： 可通过xpath提取出table中的tr标签，如下： selector = Selector(response) products = selector.xpath('//table[@cl...
使用xpath获取标签下所有文本值（包括子标签的值）
qq_30653631的博客
02-07 1万+
最近在使用xpath提取信息时，由于所提取页面的数据标签比较凌乱，我只想要获取页面所显示的文本信息，因此通过查询相关资料，总结出如下方法： 1.获取文本值及所有html标签 html_content3 = requests.get(details_url).text html = etree.HTML(html_content3) # content=html.xpath('//...
browser = webdriver.Edge() browser.get(url) # 创建一个浏览器实例 driver = webdriver.EdgeOptions() driver.add_experimental_option('detach', True) # 启动一个新的SeleniumWire请求拦截器 driver.request_interceptor = lambda request: request # 等待用户名输入框可见 username_input = WebDriverWait(browser, 10).until(EC.visibility_of_element_located((By.ID, 'username'))) # 找到用户名输入框并输入用户名,通过xPath来定位用户名位置，谷歌端使用右键复制xPath # username_input = browser.find_element(by=By.ID,value='username') username_input.send_keys(username) # 找到密码输入框并输入密码 password_input = WebDriverWait(browser, 10).until(EC.visibility_of_element_located((By.ID, 'password'))) password_input.send_keys(password) # 模拟回车键，提交表单 login_btn = browser.find_element(by=By.ID, value='denglub') login_btn.send_keys(Keys.ENTER) 之后我该如何获取他的HDR值、响应值、cookie等信息
最新发布
07-17
您使用SeleniumWire来获取请求和响应的信息。以下是一个示例代码，演示如何获取请求的HDR值、响应值、cookie等信息： ```python import seleniumwire from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC # 创建一个浏览器实例 options = webdriver.EdgeOptions() options.add_experimental_option('detach', True) # 启动一个新的SeleniumWire请求拦截器 seleniumwire_options = { 'backend': 'mitmproxy' } driver = seleniumwire.webdriver.Edge(options=options, seleniumwire_options=seleniumwire_options) url = 'https://example.com' browser.get(url) # 等待用户名输入框可见 username_input = WebDriverWait(browser, 10).until(EC.visibility_of_element_located((By.ID, 'username'))) # 找到用户名输入框并输入用户名 username_input.send_keys(username) # 找到密码输入框并输入密码 password_input = WebDriverWait(browser, 10).until(EC.visibility_of_element_located((By.ID, 'password'))) password_input.send_keys(password) # 模拟回车键，提交表单 login_btn = browser.find_element(by=By.ID, value='denglub') login_btn.send_keys(Keys.ENTER) # 获取所有的请求 requests = driver.requests # 遍历请求并获取所需信息 for request in requests: # 获取请求的URL url = request.url # 获取请求的方法，例如GET、POST等 method = request.method # 获取请求的头部信息 headers = request.headers # 获取请求的参数 params = request.params # 获取请求的响应 response = request.response # 获取响应的状态码 status_code = response.status_code # 获取响应的头部信息 response_headers = response.headers # 获取响应的内容 content = response.body # 获取响应的cookie cookies = response.cookies # 打印请求和响应信息 print(f"URL: {url}") print(f"Method: {method}") print(f"Headers: {headers}") print(f"Params: {params}") print(f"Status Code: {status_code}") print(f"Response Headers: {response_headers}") print(f"Content: {content}") print(f"Cookies: {cookies}") # 关闭浏览器 browser.quit() ``` 请注意，您需要安装`SeleniumWire`库和相应的浏览器驱动程序（如`msedgedriver`）来运行此代码。此外，您还需要安装`mitmproxy`来启动SeleniumWire拦截器。 希望这可以帮助到您！如果您有任何其他问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值