Selenium模块

最新推荐文章于 2023-12-09 14:37:18 发布
最新推荐文章于 2023-12-09 14:37:18 发布
阅读量54 收藏 1
点赞数 1
文章标签： selenium python 网络爬虫 pycharm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_55909023/article/details/134646827
版权

Selenium 模块

1.selenium 模块基础

1.1 selenium 模块的安装与基础用法

Selenium 需要与浏览器相应的 WebDriver 驱动程序一起使用，以便能够控制浏览器的行为。不同的浏览器需要使用对应的 WebDriver。

以下是几个常见浏览器及其对应的 WebDriver：

  1. Chrome: 需要 Chrome 浏览器驱动，也叫 ChromeDriver。你可以在ChromeDriver官方网站下载。
  2. Firefox: 需要 GeckoDriver。你可以在GeckoDriver官方网站下载。
  3. Edge: 需要 Microsoft Edge 浏览器驱动，也叫 EdgeDriver。你可以在Microsoft Edge Driver官方网站下载。

请注意，每个浏览器的 WebDriver 版本应该与你本地浏览器的版本匹配。下载后，你需要将驱动程序的路径告诉 Selenium，以便它能够找到并使用它。这里我就谷歌浏览器为例，我把 chromedriver.exe 放在了我的环境解释器里面。

运行 Selenium 需要以下步骤：

  1. 安装 Selenium 模块：pip install selenium
  2. 下载对应浏览器的 WebDriver，并确保其在系统 PATH 中，或者提供 WebDriver 路径。
  3. 编写 Python 脚本，使用 Selenium 模块与 WebDriver 控制浏览器。

1.2 selenium模块的标签定位

  1. 通过ID定位： 使用元素的ID属性来定位。示例代码：

    from selenium import webdriver

driver = webdriver.Chrome()
driver.get("https://example.com")

element = driver.find_element_by_id("element_id")

  2. 通过Name定位： 使用元素的Name属性来定位。示例代码：

    from selenium import webdriver

driver = webdriver.Chrome()
driver.get("https://example.com")

element = driver.find_element_by_name("element_name")

  3. 通过XPath定位： 使用元素的XPath表达式来定位。XPath是一种XML路径语言，它可以用来在XML文档中导航。示例代码：

    from selenium import webdriver

driver = webdriver.Chrome()
driver.get("https://example.com")

element = driver.find_element_by_xpath("//div[@class='example']")

  4. 通过CSS选择器定位： 使用CSS选择器来定位元素。示例代码：

    from selenium import webdriver

driver = webdriver.Chrome()
driver.get("https://example.com")

element = driver.find_element_by_css_selector("div.example")

  5. 通过链接文本定位： 使用链接文本来定位超链接。示例代码：

    from selenium import webdriver

driver = webdriver.Chrome()
driver.get("https://example.com")

element = driver.find_element_by_link_text("Example Link")

  6. 通过部分链接文本定位： 使用链接文本的一部分来定位超链接。示例代码：

    from selenium import webdriver

driver = webdriver.Chrome()
driver.get("https://example.com")

element = driver.find_element_by_partial_link_text("Example")

  7. 通过类名定位： 使用元素的类名来定位。示例代码：

    from selenium import webdriver

driver = webdriver.Chrome()
driver.get("https://example.com")

element = driver.find_element_by_class_name("example")

1.3 selenium模块的标签操作

  1. 点击元素： click() 方法用于模拟点击页面上的元素，比如按钮、链接等。示例代码：

    from selenium import webdriver

driver = webdriver.Chrome()
driver.get("https://example.com")

element = driver.find_element_by_id("button_id")
element.click()

  2. 输入文本： send_keys() 方法用于向输入框或可编辑的元素中输入文本。示例代码：

    from selenium import webdriver

driver = webdriver.Chrome()
driver.get("https://example.com")

input_element = driver.find_element_by_id("input_id")
input_element.send_keys("Hello, World!")

  3. 清除输入框内容： clear() 方法用于清除输入框中的文本。示例代码：

    from selenium import webdriver

driver = webdriver.Chrome()
driver.get("https://example.com")

input_element = driver.find_element_by_id("input_id")
input_element.clear()

  4. 获取元素文本内容： text 属性用于获取元素的文本内容。示例代码：

    from selenium import webdriver

driver = webdriver.Chrome()
driver.get("https://example.com")

element = driver.find_element_by_id("element_id")
text_content = element.text
print(text_content)

  5. 获取元素属性： get_attribute() 方法用于获取元素的属性值。示例代码：

    from selenium import webdriver

driver = webdriver.Chrome()
driver.get("https://example.com")

element = driver.find_element_by_id("element_id")
attribute_value = element.get_attribute("attribute_name")
print(attribute_value)

  6. 提交表单： submit() 方法用于提交表单。示例代码：

    from selenium import webdriver

driver = webdriver.Chrome()
driver.get("https://example.com")

form = driver.find_element_by_id("form_id")
form.submit()

2. selenium模块进阶

2.1 模拟鼠标操作

  1. 移动到元素： move_to_element()方法用于将鼠标移动到指定元素上。示例代码：

    from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains

driver = webdriver.Chrome()
driver.get("https://example.com")

element = driver.find_element_by_id("element_id")

actions = ActionChains(driver)
actions.move_to_element(element).perform()

  2. 点击元素： click()方法用于模拟鼠标左键点击指定元素。示例代码：

    from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains

driver = webdriver.Chrome()
driver.get("https://example.com")

element = driver.find_element_by_id("element_id")

actions = ActionChains(driver)
actions.click(element).perform()

  3. 右键点击元素： context_click()方法用于模拟鼠标右键点击指定元素。示例代码：

    from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains

driver = webdriver.Chrome()
driver.get("https://example.com")

element = driver.find_element_by_id("element_id")

actions = ActionChains(driver)
actions.context_click(element).perform()

  4. 双击元素： double_click()方法用于模拟鼠标双击指定元素。示例代码：

    from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains

driver = webdriver.Chrome()
driver.get("https://example.com")

element = driver.find_element_by_id("element_id")

actions = ActionChains(driver)
actions.double_click(element).perform()

  5. 拖拽和释放： drag_and_drop()方法用于模拟拖拽一个元素到另一个元素。示例代码：

    from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains

driver = webdriver.Chrome()
driver.get("https://example.com")

source_element = driver.find_element_by_id("source_element_id")
target_element = driver.find_element_by_id("target_element_id")

actions = ActionChains(driver)
actions.drag_and_drop(source_element, target_element).perform()

2.2 <iframe>标签处理

  1. 切换到iframe： 在Selenium中，可以使用switch_to.frame()方法切换到指定的iframe。这个方法接受多种参数，包括iframe的索引、iframe的name或id属性，或者直接传入iframe的WebElement对象。

    from selenium import webdriver

driver = webdriver.Chrome()
driver.get("https://example.com")

# 方法1：通过索引切换到第一个iframe
driver.switch_to.frame(0)

# 方法2：通过iframe的name或id属性切换到指定iframe
driver.switch_to.frame("iframe_name_or_id")

# 方法3：通过WebElement对象切换到指定iframe
iframe_element = driver.find_element_by_id("iframe_id")
driver.switch_to.frame(iframe_element)

  2. 在iframe中操作元素： 一旦切换到了iframe，就可以在其中执行普通的Selenium元素定位和操作了。

    # 在iframe中找到元素并进行操作
element_inside_iframe = driver.find_element_by_id("element_id_inside_iframe")
element_inside_iframe.click()

  3. 切回主文档： 在完成iframe内的操作后，需要切回到主文档，以便在主文档中执行其他操作。

    # 切回主文档
driver.switch_to.default_content()

    注意：switch_to.default_content()将焦点切回到最外层的文档，不再处于任何iframe中。

  4. 嵌套iframe的处理： 如果页面中存在多层嵌套的iframe，需要多次使用switch_to.frame()切换到正确的iframe。

    driver.switch_to.frame(0)  # 进入第一层iframe
driver.switch_to.frame("nested_iframe_name")  # 进入第二层iframe
# 在第二层iframe中执行操作
driver.switch_to.default_content()  # 切回主文档

2.3 显示等待和隐式等待

1.显示等待（Explicit Waits）：

显示等待是指在代码中明确指定某个条件并等待直到该条件成立，然后再继续执行后续的代码。这种等待方式在特定条件满足或超时之前会一直等待。

在Selenium中，可以使用WebDriverWait类结合条件类（如expected_conditions）来实现显示等待。

示例：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get("https://example.com")

# 显示等待，等待元素可见
element = WebDriverWait(driver, 10).until(
    EC.visibility_of_element_located((By.ID, "example_id"))
)

# 在元素可见后执行操作
element.click()

在上面的示例中，WebDriverWait类等待最多10秒，直到元素具有可见性，然后执行后续操作。

2.隐式等待（Implicit Waits）：

隐式等待是指在查找元素时，如果没有立即找到，将等待一定的时间再次尝试查找。这个等待是全局的，对整个WebDriver的生命周期都有效。

示例：

from selenium import webdriver

driver = webdriver.Chrome()

# 设置隐式等待时间为10秒
driver.implicitly_wait(10)

# 在查找元素时，如果没有立即找到，将等待最多10秒
element = driver.find_element_by_id("example_id")

# 在元素找到后执行操作
element.click()

在上面的示例中，implicitly_wait(10)设置了全局隐式等待时间为10秒。这意味着如果在查找元素时没有立即找到，将等待最多10秒再次尝试查找。

3.选择使用哪种等待方式：

  • 显示等待通常更灵活，因为可以等待特定条件成立，而不仅仅是等待元素可见或存在。
  • 隐式等待适用于整个测试过程中都需要等待的情况，但可能导致不精确的等待时间，因为它是全局的。
GaGa，
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python selenium模块的使用
12-21
1.1selenium模块下载命令 pip install selenium 1.2驱动下载 下载浏览器对应版本的驱动，一般下载最新版本就好了，下面是chorme和firefox的驱动，下载完把可执行的exe文件放到python环境里，否则在调用时要手动添加...
Python selenium模块实现定位过程解析
09-16
主要介绍了python selenium模块实现定位过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
selenium模块（自动化）
weixin_46287157的博客
02-26 1419
Selenium是自动化测试工具，可以驱动浏览器执行特定的动作，如单击、下拉等，同时可以获取浏览器当前呈现的源代码，做到可见即可爬，便捷的获取网站中动态加载的数据，便捷实现模拟登录。
【Python】Selenium模块使用
weixin_46429290的博客
07-06 1207
相反，现在的 Selenium 包含了 WebDriver 类的实现，可以直接与主要的浏览器（如 Chrome、Firefox、Safari等）进行通信，而无需单独安装插件。Selenium 最初是为测试 Web 应用程序而创建的，但随着时间的推移，它已经发展成为一种强大的工具，用于各种自动化任务、数据挖掘和网络爬虫等。它还支持多种定位元素的方式，如按 ID、名称、类名、XPath、CSS 选择器等。它提供了一组用于操作浏览器的 API，可以实现模拟用户在浏览器中的各种行为，如点击、输入文本、提交表单等。
【python】之selenium模块，实现Web端自动化测试！【基础篇】
相信过程！
03-27 4858
Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接调用浏览器，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器），可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏等。我们可以使用selenium很容易完成之前编写的爬虫，接下来我们就来看一下selenium的运行效果。
Python中Selenium模块的使用详解
最新发布
软件测试小dao
12-09 1182
Selenium(浏览器自动化测试框架)是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Firefox，Safari，Google Chrome，Opera等。这个工具的主要功能包括：测试浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和自动生成 .Net、Java、Perl等不同语言的测试脚本。
selenium模块
HHYZBC的博客
07-29 1511
需要注意的是，使用该方法后跳转到frame标签内容后，是无法获取frame标签外的元素的，需要获取当前标签页的句柄，然后切换到该句柄才可以获取frame标签外的元素。隐式等待是全局性的，即运行过程中，如果元素可以定位到，它不会影响代码运行，但如果定位不到，则它会以轮询的方式不断地访问元素直到元素被找到，若超过指定时间，则抛出异常。需要注意的是，在使用selenium打开浏览器前，需要下载相对应的浏览器驱动才能使用，下载教程网上有很多，这里就不过多介绍了。delete_cookie("需要删除的名字")...
Python Selenium模块安装使用教程详解
09-16
主要介绍了Python Selenium模块安装使用教程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
python爬虫之selenium模块
qq_53221728的博客
02-17 4498
当我们使用python爬虫，想爬取一个网页的数据时，要知道该网页的数据有没有动态加载出来的，没有的话就可以向该网页发起请求拿到数据，有那就要使用selenium模块了。 那我们怎么知道网页的数据是不是动态加载出来的呢？ 在想要爬取的页面打开开发者工具，然后在元素（element）下找到自己想要的数据，之后在去网络（network）下刷新一下页面，一般是第一个包打开看标头（headers）里请求url和和当前的网页的url是不是一样的，要找到一样的。找到之后点击响应（response），在里面找有没有之前
Python：selenium模块基本使用
leowutooo的博客
05-27 742
1.什么是selenium模块？ - 基于浏览器自动化的一个模块。（通过编写代码，让浏览器完成操作自动化的动作） selenium模块可以帮助我们便捷获取动态加载的数据 2.selenium使用流程： - 环境的安装 - 下载一个浏览器的驱动程序（谷歌浏览器） - 下载路径：http://chromedriver.storage.googleapis.com/index.html - 驱动程序和浏览器的对应关系：http://blog.csdn.net/huilan_same/articl..
[转]Selenium超级详细的教程
YANGGEGE666的博客
08-30 632
相信搞过Python的人绝大部分都会一点点爬虫技能，但是很多时候爬虫也不是万能的，这个时候就需要我们的自动化测试框架了，于是Selenium就应运而生了，它可以算的上是自动化测试框架中的佼佼者，因为它解决了大多数用来爬取页面的模块的一个永远的痛，那就是Ajax异步加载，今天小编就带大家来好好了解下这个Selenium。Selenium 版本仅合适>=4.2.0Selenium的内容其实还是挺丰富的，它还有手机端的自动化测试框架，不过小编先把WEB端讲完就可以了，毕竟也写了这么多了，日后有时间再慢慢了解。
webdriver对应版本下载（Chrome和Firefox浏览器）
qq_40803429的博客
12-02 4733
1.Chrome浏览器 webdriver下载地址为：http://chromedriver.storage.googleapis.com/index.html （这个更全更多）http://npm.taobao.org/mirrors/chromedriver/ Chrome下载地址为：https://www.chromedownloads.net/ 2.火狐浏览器（只找到对应的浏览器版本和webdriver） webdriver链接: https://pan.baidu.com/s/1b0d2i9xo
selenium模块的基本使用
xuexiwd的博客
10-01 641
selenium模块和爬虫的关联 1、便捷的获取网站中动态加载的数据。 2、便捷的实现模拟登录。 selenium模块： 1、基于浏览器自动化的一个模块。 2、模拟人去操作浏览器，通过xpath或者标签定位到元素，通过相应的方法就能在文本框内输入字符，或者定位到按钮点击。 3、不过selenium执行很慢，并且网页没加载完也可能执行下面的代码，会导致报错。 4、selenium最初是一个自动化测试工具，而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题，selenium
selenium模块（一）：介绍及安装
qq_39704682的博客
11-30 786
一、介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题。 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 from selenium import webdriver browser=webdriver.Chrome() brow...
python 用 selenium 模块控制浏览器
dongyu1703的博客
08-26 2256
selenium 模块让 Python 直接控制浏览器，实际点击链接，填写登录信息，几乎 就像是有一个人类用户在与页面交互。与 Requests 和 Beautiful Soup 相比，Selenium 允许你用高级得多的方式与网页交互。但因为它启动了 Web 浏览器，假如你只是想 从网络上下载一些文件，会有点慢，并且难以在后台运行。  启动 selenium 控制的浏览器  对于这些例子，你...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值