Python爬虫基础之Selenium详解_python selenium(2)

最新推荐文章于 2024-05-31 21:24:28 发布
最新推荐文章于 2024-05-31 21:24:28 发布
阅读量418 收藏 8
点赞数 3
分类专栏： 程序员 文章标签： python 爬虫 selenium
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_83703797/article/details/137699026
版权
本文介绍了Selenium库如何模拟浏览器功能，包括安装Chrome驱动、创建浏览器对象、元素定位策略（ID、NAME、XPATH、TAG_NAME等）以及基本的页面交互操作，如输入文本、点击和JavaScript执行。
摘要由CSDN通过智能技术生成

Selenium 能模拟浏览器功能自动执行网页中的 JavaScript 代码，实现动态加载。

3. Selenium的安装

谷歌浏览器驱动下载地址：https://registry.npmmirror.com/binary.html?path=chromedriver/
  查看自己谷歌浏览器的版本，我这里的版本是正式版本116.0.5845.188，驱动下载地址最新的只有114.0.5735.90，所以只能去官网的测试页面下载118.0.5993.70版本的驱动（https://googlechromelabs.github.io/chrome-for-testing/#stable，版本向下兼容），然后把下载的压缩包解压，将exe文件放入 PyCharm 项目的根目录下。
  之后执行pip install selenium命令，安装 selenium 库。

4. Selenium的使用

from selenium import webdriver

# 创建浏览器操作对象
path = 'chromedriver.exe'
browser= webdriver.Chrome(path)

# 访问网站
url = 'https://www.baidu.com'

browser.get(url)
# content = browser.page\_source
# print(content)

需要注意的是，如果你的 selenium 是4.11.2以上的版本，不需要设置driver.exe的路径，selenium 可以自己处理浏览器的驱动程序，因此代码直接改为brower = webdriver.Chrome()即可。
  运行代码，得到下面的效果：

5. Selenium的元素定位

自动化工具要做的就是模拟鼠标和键盘来操作点击、输入等等元素，但是操作这些元素的前提是找到它们，WebDriver 提供了很多元素定位的方法：

  • 根据标签 id 获取元素：
from selenium import webdriver
from selenium.webdriver.common.by import By

# 创建浏览器操作对象
# path = 'chromedriver.exe'
browser= webdriver.Chrome()

# 访问网站
url = 'https://www.baidu.com'
browser.get(url)

button = browser.find_element(By.ID, 'su')
# button = browser.find\_elements(By.ID, 'su')
print(button)
  • 根据标签 name 属性的值获取元素：
button = browser.find_element(By.NAME, 'wd')
print(button)
  • 根据 Xpath 语句获取元素；
button = browser.find_element(By.XPATH, '//input[@id="su"]')
print(button)
  • 根据标签名获取元素：
button = browser.find_elements(By.TAG_NAME, 'input')
print(button)
  • 根据 bs4 语法获取元素：
button = browser.find_elements(By.CSS_SELECTOR, '#su')
print(button)
  • 根据标签的文本获取元素（精确定位）：
button = browser.find_elements(By.LINK_TEXT, '地图')
print(button)
  • 根据标签的文本获取元素（模糊定位）：
button = browser.find_elements(By.PARTIAL_LINK_TEXT, '地')
print(button)
  • 根据 class 属性获取元素：
button = browser.find_element(By.CLASS_NAME, 'wrapper\_new')
print(button)

当我们定位到元素之后，自然就要考虑如何获取到元素的各种信息，selenium 给我们提供了获取元素不同信息的方法：

  • 获取元素属性：
from selenium import webdriver
from selenium.webdriver.common.by import By

# 创建浏览器操作对象
# path = 'chromedriver.exe'
browser= webdriver.Chrome()

# 访问网站
url = 'https://www.baidu.com'
browser.get(url)

button = browser.find_element(By.ID, 'su')
print(input.get_attribute('class'))
  • 获取元素标签名：
input = browser.find_element(By.ID, 'su')
print(input.tag_name)
  • 获取元素文本：
input = browser.find_element(By.ID, 'su')
print(input.text)
  • 获取元素位置：
input = browser.find_element(By.ID, 'su')
print(input.location)
  • 获取元素大小：
input = browser.find_element(By.ID, 'su')
print(input.size)

6. Selenium的交互

页面交互指的是我们平时在浏览器上的各种操作，比如输入文本、点击链接、回车、下拉框等，下面就演示 selenium 是如何进行页面交互的。

  • 输入文本：
from selenium import webdriver
from selenium.webdriver.common.by import By
import time

# 创建浏览器操作对象
# path = 'chromedriver.exe'
browser = webdriver.Chrome()

# 访问网站
url = 'https://www.baidu.com'
browser.get(url)

# 定位输入框
input = browser.find_element(By.ID, 'kw')
# 输入文本selenium
input.send_keys('selenium')
time.sleep(2)

# 关闭浏览器
browser.close()
  • 点击：
from selenium import webdriver
from selenium.webdriver.common.by import By
import time

# 创建浏览器操作对象
# path = 'chromedriver.exe'
browser = webdriver.Chrome()

# 访问网站
url = 'https://www.baidu.com'
browser.get(url)

# 定位输入框
input = browser.find_element(By.ID, 'kw')
# 输入文本selenium
input.send_keys('selenium')
time.sleep(2)

# 定位百度一下的按钮
button = browser.find_element(By.ID, 'su')
# 点击按钮
button.click()
time.sleep(2)

# 关闭浏览器
browser.close()
  • 清除文本：
from selenium import webdriver
from selenium.webdriver.common.by import By
import time

# 创建浏览器操作对象
# path = 'chromedriver.exe'
browser = webdriver.Chrome()

# 访问网站
url = 'https://www.baidu.com'
browser.get(url)

# 定位输入框
input = browser.find_element(By.ID, 'kw')
# 输入文本selenium
input.send_keys('selenium')
time.sleep(2)

# 清除selenium
input.clear()
time.sleep(2)

# 关闭浏览器
browser.close()
  • 回车确认：
from selenium import webdriver
from selenium.webdriver.common.by import By
import time

# 创建浏览器操作对象
# path = 'chromedriver.exe'
browser = webdriver.Chrome()

# 访问网站
url = 'https://www.baidu.com'
browser.get(url)

# 定位输入框
input = browser.find_element(By.ID, 'kw')
# 输入文本selenium
input.send_keys('selenium')
time.sleep(2)

# 回车查询
input.submit()
time.sleep(2)

# 关闭浏览器
browser.close()
  • 运行 JavaScript：
from selenium import webdriver
from selenium.webdriver.common.by import By
import time

# 创建浏览器操作对象
# path = 'chromedriver.exe'
browser = webdriver.Chrome()

# 访问网站
url = 'https://www.baidu.com'
browser.get(url)

# 定位输入框
input = browser.find_element(By.ID, 'kw')
# 输入文本selenium
input.send_keys('selenium')
time.sleep(2)

# 回车查询
input.submit()
time.sleep(2)

# js代码
js_bottom = 'document.documentElement.scrollTop=100000'
# 下拉进度条，页面滑动
browser.execute_script(js_bottom)
 **自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**

**深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。**

![img](https://img-blog.csdnimg.cn/img_convert/cf94e9827f363b98bf817e4eddc039a8.png)

![img](https://img-blog.csdnimg.cn/img_convert/58cfc6fa311fa29160639304e6437fa1.png)

![img](https://img-blog.csdnimg.cn/img_convert/385cc9868338d0fb39cdb7f89a08d704.png)

![img](https://img-blog.csdnimg.cn/img_convert/ea8c355f11e218ec686af96bd943f796.png)

![img](https://img-blog.csdnimg.cn/img_convert/6c361282296f86381401c05e862fe4e9.png)

![img](https://img-blog.csdnimg.cn/img_convert/9f49b566129f47b8a67243c1008edf79.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）**

rt/6c361282296f86381401c05e862fe4e9.png)

![img](https://img-blog.csdnimg.cn/img_convert/9f49b566129f47b8a67243c1008edf79.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）**

<img src="https://img-community.csdnimg.cn/images/fd6ebf0d450a4dbea7428752dc7ffd34.jpg" alt="img" style="zoom:50%;" />
2401_83703797
关注
  • 3
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于Python +Selenium的爬虫详解
周萝卜的博客
01-02 2301
由于requests模块是一个不完全模拟浏览器行为的模块，只能爬取到网页的HTML文档信息，无法解析和执行CSS、JavaScript代码，因此需要我们做人为判断；selenium最初是一个自动化测试工具，而爬虫中使用它主要是为了解决requests无法执行javaScript代码的问题。selenium模块本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器；
Python3爬虫中Selenium的用法详解
09-16
在Python3的网络爬虫开发中，Selenium是一个非常重要的工具，它主要用于处理那些依赖JavaScript动态加载内容的网页。Selenium实际上是一个自动化测试框架，但因其能模拟用户行为，因此在爬虫领域也得到了广泛应用。...
python selenium 爬虫教程_python selenium爬虫
m0_57472099的博客
04-26 1800
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。以下是一个案例分析，展示如何使用Python和Selenium进行安全的爬取。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
【Python爬虫--scrapy+selenium框架】超详细的Python爬虫scrapy+selenium框架学习笔记（保姆级别的，非常详细）
最新发布
m0_67844671的博客
05-31 4121
Python爬虫--scrapy+selenium框架】超详细的Python爬虫scrapy+selenium框架学习笔记（保姆级别的，非常详细）
Python2+Selenium入门01-环境准备
weixin_34390105的博客
02-23 93
最近一直在学习UI自动化测试相关的内容，于是决定将整个学习过程记录在这里，一方面可以作为笔记方便自己以后随时随地地查看，另一方面也希望分享出来能够和大家一起学习讨论进步。 需要准备的环境 Python 2 Selenium 浏览器驱动（我使用的是Chrome浏览器，注意chromedriver一定要和chrome浏览器版本相对应） 代码...
python爬虫Selenium库详细教程_python爬虫之selenium库的使用详解
m0_61549953的博客
04-15 506
Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
python爬虫_python爬虫详解_python爬虫_
10-01
一、Python爬虫基础 1. HTTP与HTTPS：网络爬虫首先要理解HTTP和HTTPS协议，它们是互联网上数据传输的基础。HTTP是无状态的，而HTTPS则通过SSL/TLS加密，提供更安全的数据传输。 2. 请求与响应：爬虫通过发送HTTP...
python爬虫_python爬虫详解_python爬虫_.zip
10-25
2. **Python爬虫基本步骤** - 发送HTTP请求：使用requests库的`get`或`post`函数向目标网站发送请求。 - 解析HTML内容：使用BeautifulSoup或其他解析库解析响应的HTML内容，找到目标数据。 - 数据提取：利用CSS...
python网络爬虫 Scrapy中selenium用法详解
09-18
2. 编写爬虫逻辑，通过Selenium驱动真实的浏览器实例，导航至目标网页，并等待页面动态内容加载完成。 3. 利用Selenium提供的API，例如find_element_by_id、find_element_by_xpath等方法，定位到页面中的动态数据。...
python爬虫-selenium详解
05-28
python爬虫-selenium详解， python爬虫-selenium详解， python爬虫-selenium详解
Selenium2 Python
01-30
Selenium是针对Web应用的测试框架，支持多种浏览器和多种编程语言。Selenium 2的主要新功能是集成了WebDriver?——曾经是Selenium 1（又名Selenium RC）的竞争对手。Selenium RC在浏览器中运行JavaScript应用，而WebDriver通过原生浏览器支持或者浏览器扩展直接控制浏览器。
Selenium2 Python自动化测试实战（第二版）
04-30
第1章 自动化测试基础 第2章 测试环境搭建 第3章 Python基础 第4章 WebDriver API 第5章 自动化测试模型 第6章 Selenium IDE 第7章 unittest单元测试框架 第8章 自动化测试高级应用 第9章 Selenium Grid2 第10章 Python多线程 第11章 自动化测试项目实战 第12章 BDD框架之Lettuce入门 第13章 GitHub托管项目 第14章 持续集成Jenkins入门
Python爬虫之selenium
weixin_38894162的博客
02-11 172
Selenium是一个用于测试网站的自动化测试工具，支持各种浏览器包括Chrome、Firefox、Safari等主流界面浏览器，同时也支持phantomJS无界面浏览器。 在web爬虫中，有些用Ajax加载的数据无法直接获取，这里selenium主要用于对页面JavaScript数据的提取以及交互操作。 以下代码可以分模块运行，本人亲测可以使用，读者可以体会一下使用selenium库的交互，即如...
小白必看Python爬虫Selenium库详细教程
Python宋宋的专栏
01-13 1072
在我们爬取网页过程中，经常发现我们想要获得的数据并不能简单的通过解析HTML代码获取，这些数据是通过AJAX异步加载方式或经过JS渲染后才呈现在页面上显示出来。使用隐式等待时，如果webdriver没有找到指定的元素，将继续等待。如果定位到父frame，是无法查找到子frame的信息的，因此需要切换到子frame再进行查找。如果条件不成立，则等待最长时间为等待时间，如果超过等待时间后仍然没有满足等待等待条件，则抛出异常。查找多个元素和查找单个元素的方法基本一致(只需要将查找单个元素的func里加一个s)。
Python-爬虫之selenium
新阿巴阿巴
01-17 142
一、介绍 ''' selenium的介绍 -- 是一个用于Web应用程序测试的工具 -- 直接运行在浏览器中，就像真正的用户在操作一样 -- 支持各种驱动(driver) -- 支持无界面浏览器操作 -- 模拟浏览器功能，自动执行JS代码 最重要的特点： -- 1. 可以在浏览器总直接执行JS代码 -- 2. 可以模仿人在浏览器进行一系列的操作 为什么使用
2024年Python函数定义-位置参数-返回值_定义函数返回元素定位的内容，2024年最新2024年阿里Python高级面试题分享
m0_63102527的博客
05-03 56
Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
Python + Selenium 爬虫小记
smilingc_开发小记
11-16 953
Python + Selenium 爬虫小记。
python——利用selenium实现便捷爬虫
llll123456890的博客
04-11 621
# selenium使用流程： # ——环境的安装 ： pip install selenium # ——下载一个浏览器的驱动程序（谷歌浏览器） # ——下载路径：http://chromedriver.storage.googleapis.com/index.html # ——驱动程序和浏览器的映射关系：http://blog.csdn.net/huilan_same/article/details/51896672 # ——实例化一个浏览器对象: # ——编写基于浏览器的实例化操作 from sele.
Python爬虫基础与Scrapy框架详解
本文主要介绍了Python在Web自动化和爬虫领域的...对于Python爬虫初学者，建议从基础的HTTP请求和响应开始，逐步掌握正则表达式、BeautifulSoup等基础工具，然后深入学习Selenium和Scrapy，以应对更复杂的网页抓取需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值