Selenium使用xpath却只能获取一条值的问题。。

最新推荐文章于 2022-09-09 11:03:17 发布
最新推荐文章于 2022-09-09 11:03:17 发布
阅读量2.4k 收藏 2
点赞数 6
分类专栏： 烂笔头
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38263123/article/details/103858352
版权 
原本：
 all_price=browser.find_element_by_xpath('//*[@id="J_goodsList"]/ul/li/div/div[2]/strong/i').text
只能获取一条值

修改后：
    all_price=browser.find_elements_by_xpath('//*[@id="J_goodsList"]/ul/li/div/div[2]/strong/i')
    for item in all_price:
        print(item.text)

区别在find_elements和find_element。。。

原本想获取网页上所有的价格，结果只能获取到一条价格

后来发现，竟然有单复数的区别。。

 

_HAHAHA_
关注
专栏目录
爬虫 零碎记录 xpath 注意事项 text()[x]可以取下标
weixin_65922074的博客
08-22 634
4.re.findall（），xpath（） ，strip（）去首尾空格，replace（）字符串替换等，各种函数返回的都是新的对象，原对象对函数的调用不会更改原对象的内容。特殊情况：当xpath（）得到的元素中含有特殊字符（目前遇到的比如\n换行符）时，需要将该元素用str（）将etree对象转化成字符串 后再处理。必须要将函数的调用赋值给一个变量（可以是新的变量，也可以是自身，但是都必须要赋值，然后再调用这个赋值过的变量。xpath中的//表示跨节点，/表示不跨节点，元素之间的过渡。
xpath 第一个元素_贝程学院：Selenium与XPath
weixin_39731456的博客
11-20 739
一.为什么学习XPathXPath (XML Path Language)最初是用来在 XML 文档中定位 DOM 节点的语言。由于 HTML 也可以算作 XML 的一种实现，所以 Selenium Webdriver也可以利用 XPath 这一强大的语言来定位 Web元素。XPath在传统属性定位之外扩展了元素定位能力，以便应对没有ID或name属性的情况。利用 XPath 可以通过绝对路径，或...
selenium只能定位到第一个元素
pp2373886592的博客
03-09 1041
原因:使用的是find_element_by_xpath() 解决方法:改语句为find_elements_by_xpath() （注意中间多了个s）
python xpath提取text的两个坑
shun201207的博客
09-14 3658
python xpath提取text的两个坑 当P下面有无文本的text 标签时，获取到的选择器里也包含这个文件，因此，此时用contact_first()时得到的是第一个 1.下面这个是p标签下无其它标签，用extract_first()可以获取到 ![在这里插入图片描述](https://img-blog.csdnimg.cn/d82ab5f788494cd8b25e262b4eca07e6.png#pic_center) 2.下面这个是第一个是无文本的a标签，用extract_first()获
Python 自动化一组元素定位失效，只返回一个元素
qq_42794453的博客
07-20 432
学习web自动化踩的坑
selenium自动化：定位到的元素本身有值，但是打印出来的文本值为空。【已解决】
taylortiger的博客
09-09 1500
selenium自动化：定位到的元素本身有值，但是打印出来的文本值为空
selenium使用———xpath和模拟输入和模拟点击协作
ZeroSwift的博客
07-17 2711
选择页面中你要点击的元素的id，并以此判断该网页是否完成加载。这里我使用了页面中id为content_left的元素用于判断我需要点击的组件是否加载完成。首先右键输入框，进入检查模式；其次右键对应的HTML代码，选择Copy->CopyXPath，最后得到XPath。在得到需要点击的组件加载完成的信息后，使用上述步骤找到CSDN网页的XPath的值，并点击进入。有了XPath后，可以使用Selenium进行定位，并把需要输入的内容填写上。使用上述步骤找到按钮的XPath的值，并模拟点击。...
xpath 第一个元素_自动化Selenium 3元素定位（Python版）
weixin_39824898的博客
11-20 1036
点击上方蓝字，选择“设为星标”第一时间关注技术干货！元素定位操作页面元素之前，首先要对元素进行定位，所以定位是自动化脚本编写的开始。通常使用find_element或find_elements方法来定位元素。1、find_element使用给定的方法定位和查找一个元素2、find_elements使用给定的方法定位和查找所有元素list常用定位方式共八种：1.当页面元素有id属性时，最好...
爬虫 selenium+Xpath 爬取动态js页面元素内容
weixin_30786657的博客
01-24 579
介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 from selenium import webdriver browser=webdriver.Chrome...
python+selenium+xpath实用，避坑，爬虫篇
qq_36259105的博客
08-27 1336
selenium selenium可以模拟真实浏览器，自动化测试工具，支持多种浏览器。结合谷歌驱动，实现爬取数据。 谷歌驱动下载地址：http://npm.taobao.org/mirrors/chromedriver/ 在谷歌浏览器上输入chrome://version/，可以看到自己谷歌对应的版本，并下载对应的谷歌驱动 对应版本的84.0.4147对应上即可，后面的只是这个版本修复的次数。 设置谷歌驱动参数 option = webdriver.ChromeOptions() option.add_
解决：xpath取出指定多标签内所有文字text
热门推荐
MrLevo520的博客
11-14 4万+
Python 2.7 Pycharm 5.0.3问题 再写一个markdown自动引用的小脚本的时候新出现的问题，也就是利用xpath取出字符串的问题，记录一下 取出如下字符串我要取出mrlevo520的内容，怎么取呢，很多方法，bs4也可以，正则也可以，动态selenium也可以，这次我想尝试用xpath来做，一则是为了和selenium接轨，xpath的确很强大，二来是firefox提供f
scrpy.Selector xpath循环时一直取第一个元素的问题
python的神奇之旅
11-27 1027
url = "https://xa.lianjia.com/chengjiao/pg{}/" r = self.web_requests.get(url.format(1)) selector = Selector(text=r.text) ul = selector.xpath("//ul[@class='listContent']/li") for li in ul: title = li.xpath('//div.
Xpath中选取到相同属性节点，但是只要第一个属性怎么做
weixin_30446197的博客
04-08 8940
刚学爬虫，也没看具体的文档，所以遇到这个问题多试了几次，记录下。 爬取豆瓣电影Top250，用Xpath很方便直观，在选取节点中，电影的名称节点有相同的两个属性： <span class="title">肖申克的救赎</span><span class="title">&nbsp;/&nbsp;The Shawshank Redem...
xpath取出某个标签下多个标签的所有文本信息几种方法
ITcainiaoyizhan的博客
01-05 1万+
爬虫爬取数据有时候我们需要爬取多个标签的文本内容，或者需要保留标签属性，就要连同标签一起拿下来。你可以写正则，今天我介绍一种用xpath爬取的方法。 下边第一种方法就可以连同HTML标签一起爬下来，后两种能爬取所有文本信息，但没有了标签属性： ① 第一种方法可以取出某个标签内的HTML字符串，包含各种标签属性，输出的结果就是网页正常显示的文章部分的HTML。 html_content3 = re...
python爬虫总是爬不到数据，你需要解决反爬虫了
06-26 6645
爬虫最讨厌的就是反爬虫，但是如果没有反爬虫的存在的，那么大家都可以随随便便就进行爬虫，那么服务器又怎么支撑得起来呢？ 所以说反爬虫是一个门槛，跨过这一个门槛就可以轻松掌握爬虫的技术了，跨不过那么你就一直都在起点而已。 目前常见的反爬虫无非也就是那几种（查看爬虫的请求头、请求频率、验证码……） 第一种处理请求头 对于请求头进行处理就是一个非常简单的事情了，可以直接使用浏览器的请求头； 在这里插入代码片 也可以使用python中的第三方库fake-useragent 进行设置，使用python中的第三方库还有
selenium获取当前网页多条xpath对应的数据
最新发布
09-19
### 回答1： 可以使用`find_elements_by_xpath`方法获取多条xpath对应的数据。该方法返回一个列表，列表中包含多个元素，每个元素对应一条xpath的结果。 以下是示例代码： ```python from selenium import webdriver # 打开浏览器 driver = webdriver.Chrome() # 打开网页 driver.get('https://www.baidu.com') # 获取多条xpath对应的数据 element_list = driver.find_elements_by_xpath("//div[@class='s-top-left']/a") for element in element_list: print(element.get_attribute('href')) # 关闭浏览器 driver.quit() ``` 上述代码获取了百度首页左上角的多个链接，将其打印出来。其中，使用`find_elements_by_xpath`方法获取多条xpath对应的数据，将其存储在`element_list`变量中，然后使用循环逐个获取元素的属性值。 ### 回答2： selenium可以通过使用find_elements_by_xpath方法获取当前网页多条xpath对应的数据。 find_elements_by_xpath方法返回一个列表，其中包含了所有符合指定xpath的元素。通过遍历这个列表，可以逐个获取每个元素的数据。 假设需要获取一个网页中所有h1标签的文本内容，可以使用以下代码： ```python from selenium import webdriver # 创建一个浏览器对象 driver = webdriver.Chrome() # 打开网页 driver.get("https://example.com") # 使用xpath表达式获取所有h1标签的元素 elements = driver.find_elements_by_xpath("//h1") # 遍历列表，获取每个元素的文本内容 for element in elements: print(element.text) ``` 在上述代码中，我们先创建了一个Chrome浏览器对象，然后打开了一个网页。接下来使用find_elements_by_xpath方法获取了所有h1标签的元素，并将它们存储在一个元素列表中。最后，通过遍历这个列表，使用element.text方法获取每个元素的文本内容，并打印输出。 通过这种方式，使用selenium可以方便地获取当前网页中多个xpath对应的数据。 ### 回答3： 要使用Selenium获取当前网页多条XPath对应的数据，可以按照以下步骤操作： 1. 导入Selenium库：在Python中，使用`import selenium`语句导入Selenium库。确保已经安装了Selenium和Webdriver。 2. 创建WebDriver对象：使用Selenium中适合当前浏览器的WebDriver对象，比如ChromeDriver，创建一个WebDriver对象。 3. 打开网页：使用WebDriver对象的`get()`方法打开需要操作的网页，如`driver.get('https://example.com')`。 4. 查找元素：使用WebDriver对象的`find_elements_by_xpath()`方法查找XPath对应的元素，并将其返回为一个列表。 5. 遍历元素列表：对于返回的元素列表，使用`for`循环遍历每个元素，进行后续操作。 6. 提取数据：对于每个元素，使用相应的方法提取需要的数据。可以使用元素的`text`属性获取元素的文本内容，或者使用`get_attribute()`方法获取元素的属性值。 7. 存储数据：根据需要，将提取的数据存储到变量、列表、数据库或其他数据结构中，以便后续使用。 8. 关闭浏览器：使用WebDriver对象的`quit()`方法关闭浏览器，释放资源。 示例代码如下： ```python from selenium import webdriver # 创建WebDriver对象 driver = webdriver.Chrome() # 打开网页 driver.get('https://example.com') # 查找元素 elements = driver.find_elements_by_xpath('//div[@class="example"]/span') # 遍历元素列表 for element in elements: # 提取数据 data = element.text # 存储数据 # ... # 关闭浏览器 driver.quit() ``` 以上就是使用Selenium获取当前网页多条XPath对应的数据的步骤。根据实际需求和网页结构，可以对代码进行适当修改和扩展。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值