【Python】Selenium爬虫提取属性值（href为例）

最新推荐文章于 2023-11-07 23:30:00 发布
最新推荐文章于 2023-11-07 23:30:00 发布
阅读量1.1w 收藏 16
点赞数 3
分类专栏： 爬虫 文章标签： Selenium Python 提取属性值 href BeautifulSoup
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Asher117/article/details/84229868
版权

提取属性值

之前使用爬虫解析HTML一直使用的是bs4里面的BeautifulSoup，最近因为模拟登陆要使用Selenium，所以就直接使用Selenium解析HTML。解析HTML很重要的一步就是提取标签元素的属性。
这里展示一下使用提取hrtf的值：

div = driver.find_element_by_css_selector('#CSS_Selector')
href = div.get_attribute('href')

这样使用get_attribute()方法就可以提取元素的属性值了。

另外如果习惯使用BeautifulSoup方法，也可以，只需要使用

soup = BeautifulSoup(driver.page_source)

将其转成BeautifulSoup解析HTML即可。

我们下次再见，如果还有下次的话！！！
欢迎关注微信公众号：516数据工作室
516数据工作室

Asher117
关注
  • 3
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Pytho爬虫 获取数据以及存储数据
Shinersmile的博客
12-23 825
Python 获取数据
selenium又一小坑 无法用XPATH直接获取属性值 需要使用.get_attribute(“href”)
ahmot46880的专栏
09-20 799
在使用selenium进行抓取url的时候，试图使用find_elements_by_xpath来获取。 因此想当然的直接使用XPATH的语法进行获取属性 事例缩略后xml结构如下 <div class="qg-limit-list" data-spm="1998564503" data-spm-max-idx> <a href="//item.ta...
爬虫学习笔记（一）
qq_55810765的博客
05-03 179
这次要爬取的数据是北京新发地网站上的菜价，这是我根据别人的视频学的，后面对代码进行了部分改进 北京新发地网址:http://www.xinfadi.com.cn/ 进入网址之后点击价格即可查看菜价，右键查看页面源代码，随机查找当前页面的一种菜品，固定要找数据的大致位置。 所有数据在td里面，直接查找td不现实，所有的数据又放在table里面，直接查找table也不现实，而我们要查找的数据在<table class="hq_table>中 注意事项如下： 1.需要具备初步html知识，table是
web自动化测试理论之selenium八大定位 -（2）
qq_39270023的博客
06-13 1855
概念：通过元素的id属性来定位元素。前置：所要定位的元素必须有id属性方法：driver.find_element_by_id(id属性值) 二、Name定位 概念：通过元素的name属性来定位元素。前置：所要定位的元素必须有name属性。方法：driver.find_element_by_name(name属性值)特点：当前页面可以重复由于name属性值可以重复，所以使⽤时需要查看是否为唯⼀ 三、class_name 定位 概念：通过元素的class_name属性来定位元素。前置：所要定位的元
Python scrapy 中的css选择器提取 a 标签的 href值
weixin_42544006的博客
11-26 8692
response.css(".copyright-area a::attr(href)").extract()[0]  
Python爬虫基础：初探selenium 之 元素提取
weixin_62853513的博客
03-16 2043
Selenium Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，就像玩游戏用的按键精灵，可以按指定的命令自动操作。 Selenium测试工具直接操控浏览器中，就像真正的用户在操作一样。Selenium可以根据的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生等。 1. Selenium工作原理 如图所示，通过Python来控制Selenium，然后让Selenium 控制浏览器，操纵浏览器，这样就实现了使用Python间接的操控浏览器
python爬虫 selenium多端口
08-03
6. **数据提取**：获取到元素后，可以通过`text`属性获取元素的文本内容，或使用`get_attribute('attribute_name')`获取特定属性值。对于表格数据，可以遍历table和tr元素来抓取。 7. **异常处理**：爬虫过程中可能...
python利用selenium进行浏览器爬虫
09-19
然而，需要注意的是，Selenium爬虫的速度相对较慢，因为它需要模拟真实的浏览器行为，所以在处理大量数据时，可能不如常规的网络爬虫高效。尽管如此，Selenium仍然是解决特定爬虫问题的宝贵工具。 最后，学习和使用...
python-selenium的使用——爬虫
12-21
Python-selenium是一个强大的自动化测试工具，它允许程序员模拟真实用户在浏览器中的操作，这在爬虫领域非常有用，特别是对于动态加载或者需要交互才能显示完整内容的网页。在这个场景中，作者想要通过编写爬虫抓取...
Python爬虫图片懒加载技术 selenium和PhantomJS解析
09-18
当图片进入可视区域时，再通过JavaScript动态地将伪属性的值替换为src属性，从而触发浏览器加载真正的图片资源。 在Python爬虫技术中，处理图片懒加载网站时，常规的爬取方式可能会遇到问题。例如，在上述内容中...
Selenium爬虫项目-我国主要城市年度数据爬取相关代码
最新发布
04-21
总的来说，这个Selenium爬虫项目涵盖了Web自动化、网页解析、数据提取和存储等多个方面，是学习和实践Python爬虫技术的好例子。通过这个项目，你可以深入理解Selenium的用法，提高处理复杂网页的能力，并掌握爬虫...
Python爬虫之数据提取-selenium的其它使用方法
不一样的花朵的博客
09-12 747
selenium的其它使用方法 知识点： 掌握 selenium控制标签页的切换 掌握 selenium控制iframe的切换 掌握 利用selenium获取cookie的方法 掌握 手动实现页面等待 掌握 selenium控制浏览器执行js代码的方法 掌握 selenium开启无界面模式 了解 selenium使用代理ip 了解 selenium替换user-agent 1. selenium标签页的切换 当selenium控制浏览器打开多个标签页时，如何控制浏览器在不同的标签页中进行切换呢？需要
selenium的xpath的get_attribute如何取多个元素
weixin_35755188的博客
01-10 932
在 Selenium 中，使用 find_elements_by_xpath() 方法来查找多个元素，然后可以循环遍历这些元素，并使用 get_attribute() 方法获取每个元素的属性值。 例如： elements = driver.find_elements_by_xpath("//a") for element in elements: print(element.get_att...
selenium 获取href find_element_by_xpath
jacke121的专栏
08-31 9557
在使用selenium进行抓取url的时候，试图使用find_elements_by_xpath来获取。 因此想当然的直接使用XPATH的语法进行获取属性 事例缩略后xml结构如下 <div class="qg-limit-list" data-spm="1998564503" data-spm-max-idx> <a href="//item.taobao.com/item.htm?spm=a21bz.7725273.1998564503.46.1Tdtjr"> &...
Python爬虫：在带有多个属性值的class选择器中选择其中一个值，实现标签快速精准定位
热门推荐
第一段代码的博客
07-18 2万+
在写爬虫时，定位标签位置获取想要的数据是匹配工作的重点。通过class或id选择器的值（属性值要求在网页中是唯一的）可以很快的实现标签的定位。 &lt;span data-post-id="114214" class=" btn-bluet-bigger href-style vote-post-up register-user-only "&gt;&lt;i class="fa fa-...
Python_selenium之获取当前页面的href属性，id属性，图片信息和截全屏
weixin_33826268的博客
12-07 488
Python_selenium之获取当前页面的href属性，id属性，图片信息和截全屏 一、 获取当前页面的全部信息 1. 图片信息包括图片名称、图片大小等信息 2. 只需将图片信息打印出来（image.text image.size image.tag_name） 二、 获取页面元素的href属性（id同理） 1. 获取当前页面所有的链接信息（以百度首页为例） 2. 运用f...
UI自动化测试：获取元素隐藏属性(转载)
leavesym的专栏
11-17 678
在进行UI自动化测试过程中，需要获取元素的属性时可以使用Selenium中提供的get_attribute()方法。 例如：获取元素的文本内容：get_attribute(‘textContent’) 一、使用方法 get_attribute()方法中指定不同的参数，可以获取到相应的元素属性。 例如： 获取元素的文本内容：get_attribute(‘textContent’) 获取元素的内部HTML：get_attribute('innerHTML') 获取元素的外部HTML：get_a..
Selenium获取页面元素的href属性
西门一刀的博客
11-25 1万+
本文来介绍如何通过Selenium获取页面元素的某一个属性。一个元素可能有多个属性，例如 class, id, name, text, href, vale等等。这里我们举例一个爬虫中经常需要处理的链接问题：找出当前页面所有的超链接。 已百度首页为例，打印所有包含href的元素的链接。 相关脚本代码如下： # coding=utf-8 import time from selenium import webdriver driver = webdriver.Chrome() driver.maxim
Python 中 Selenium 的 getAttribute() 函数
迹忆客
11-07 619
HTML 中的属性定义元素的属性。属性由名称-值对组成，这意味着每个属性都有一个值和一个名称。它们的值用双引号括起来，并在开始标记中提供。从上面的例子来看，HTML 标签有多种属性和值。例如，输入标签具有许多属性，例如类、样式、占位符、类型、名称和id。每个属性都有一个用双引号引起来的数字。现在我们了解了属性对于 HTML Web 元素的含义或它的显示方式，让我们检查一下方法为何有用。
Python Selenium爬虫实战：拉勾网职位信息抓取
这通常涉及查找元素、提取文本或者属性值。例如，如果职位名称在类名为`job-item-title`的元素内，我们可以这样做： ```python job_titles = driver.find_elements_by_css_selector('.job-item-title') for title ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值