selenium的使用

最新推荐文章于 2024-09-21 19:43:19 发布
最新推荐文章于 2024-09-21 19:43:19 发布
阅读量543 收藏 1
点赞数
文章标签： selenium
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44722998/article/details/111826584
版权

文章目录

Selenium 介绍

• selenium是一个web的自动化测试工具，最初是为网站自动化测试而开发的，selenium可以直接运行在浏览器上，它支持所有主流的浏览器，可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏
• chromedriver是一个驱动Chrome浏览器的驱动程序，使用他才可以驱动浏览器。当然针对不同的浏览器有不同的driver。以下列出了不同浏览器及其对应的driver：
• Chrome：https://sites.google.com/a/chromium.org/chromedriver/downloads
• Firefox：https://github.com/mozilla/geckodriver/releases
• Edge：https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/
• Safari：https://webkit.org/blog/6900/webdriver-support-in-safari-10/
• 下载chromedriver

淘宝镜像
安装总结

安装Selenium：pip install selenium

Phantomjs快速入门

无头浏览器：一个完整的浏览器内核,包括js解析引擎,渲染引擎,请求处理等,但是不包括显示和用户交互页面的浏览器

Phantomjs案例

1.加载网页
from selenium import webdriver
driver = webdriver.PhantomJS("安装目录")
driver.get("https://www.baidu.com")
driver.save_screenshot("baidu.png")
2.定位和操作
driver.find_element_by_id("kw").send_keys("长城")
driver.find_element_by_id("su").click()
3.查看请求信息
driver.page_source
driver.get_cookies()
driver.current_url
4.退出
driver.quit()

selenium快速入门

from selenium import webdriver

# 实例化浏览器
driver = webdriver.Chrome()

# 发送请求
driver.get('https://www.baidu.com')

# 退出浏览器
driver.quit()

1：定位元素

Selenium提供了8种定位方式:
id
name
class name
tag name
link text
partial link text
xpath
css selector

  • find_element_by_id：根据id来查找某个元素
submitTag = driver.find_element_by_id('su')
submitTag1 = driver.find_element(By.ID,'su')
  • 通过class name定位:
dr.find_element_by_class_name("s_ipt")
  • find_element_by_name：根据name属性的值来查找元素
submitTag = driver.find_element_by_name('email')
submitTag1 = driver.find_element(By.NAME,'email')
  • find_element_by_tag_name：根据标签名来查找元素
submitTag = driver.find_element_by_tag_name('div')
submitTag1 = driver.find_element(By.TAG_NAME,'div')
  • find_element_by_xpath：根据xpath语法来获取元素
dr.find_element_by_xpath("//*[@id='kw']")
dr.find_element_by_xpath("//*[@name='wd']")
dr.find_element_by_xpath("//input[@class='s_ipt']")
dr.find_element_by_xpath("/html/body/form/span/input")
dr.find_element_by_xpath("//span[@class='soutu-btn']/input")
dr.find_element_by_xpath("//form[@id='form']/span/input")
dr.find_element_by_xpath("//input[@id='kw' and @name='wd']")

注意：
find_element是获取第一个满足条件的元素。find_elements是获取所有满足条件的元素

2：多表单切换

在这里插入图片描述

在Web应用中经常会遇到frame/iframe表单嵌套页面的应用，WebDriver只能在一个页面上对元素识别与定位，对于frame/iframe表单内嵌页面上的元素无法直接定位。这时就需要通过switch_to.frame()方法将当前定位的主体切换为frame/iframe表单的内嵌页面中

from selenium import webdriver

driver = webdriver.Chrome()
driver.get("http://mail.163.com/")
driver.switch_to.frame(0)#需要跳转到表单内，但是发现表单id是变化的，所以就使用【0】定位表单
driver.find_element_by_name("email").clear()
driver.find_element_by_name("email").send_keys("ahhahah")
driver.find_element_by_name("password").clear()
driver.find_element_by_name("password").send_keys("ahhahah")
driver.find_element_by_id("dologin").click()  # 登录按钮

注意：当登陆后别忘了跳出表单（.switch_to.default_content()）再去爬取数据
参考文章

3：控制浏览器操作的一些方法

在这里插入图片描述

4：鼠标事件

在这里插入图片描述

  • click(on_element=None)：单击
    on_element：指被点击的元素，如果该参数为none，将单击当前鼠标所在位置

  • double_click(on_element=None)：双击
    on_element：只要双击的元素，如果该参数为none，将单击当前鼠标所在位置

  • context_click(on_element=None)： 右击

  • on_element：只要双击的元素，如果该参数为none，将单击当前鼠标所在位置

  • drag_and_drop(source, target)：鼠标拖动
    Source：鼠标拖动的元素 Target：鼠标释放的目标元素

  • move_to_element(to_element) ：鼠标悬停
    to_element：指定元素

  • move_to_t(to_element) ：鼠标移动
    to_element：指定元素

  • perform()：提交已保存的操作

  • click_and_hold(on_element=None)：按住鼠标左键在元素上，点击并且不释放

  • on_element：指要按住鼠标左键的元素，如果该参数为none，将单击当前鼠标所在位置。

  • release(on_element=None) 释放鼠标
    on_element：被鼠标释放的元素

from selenium import webdriver
#1.引入 ActionChains 类
from selenium.webdriver.common.action_chains import ActionChains

#1.创建Chrome浏览器对象，这会在电脑上在打开一个浏览器窗口
driver = webdriver.Firefox()

driver.get("https://www.baidu.com")

#2.定位到要悬停的元素
element= driver.find_element_by_link_text("设置")

#3.对定位到的元素执行鼠标悬停操作
ActionChains(driver).move_to_element(element).perform()

#找到链接
elem1=driver.find_element_by_link_text("搜索设置")
elem1.click()

#通过元素选择器找到id=sh_2,并点击设置
elem2=driver.find_element_by_id("sh_1")
elem2.click()

#保存设置
elem3=driver.find_element_by_class_name("prefpanelgo")
elem3.click()

5: 键盘事件

在这里插入图片描述
在这里插入图片描述

from selenium import webdriver
# 导入selenium中的键盘事件keys
from selenium.webdriver.common.keys import Keys
import time

driver = webdriver.Firefox()
driver.get("http://www.baidu.com")
time.sleep(3)

# 搜索框中输入‘selenium’
driver.find_element_by_id('kw').send_keys('selenium')
# 调用键盘事件	空格
driver.find_element_by_id('kw').send_keys(Keys.SPACE) 
driver.find_element_by_id('kw').send_keys('python')
# 调用键盘事件	组合键control+a
driver.find_element_by_id('kw').send_keys(Keys.CONTROL, 'a')

详情参考

6：Cookie操作

• 获取所有的cookie

cookies = driver.get_cookies()

• 根据cookie的name获取cookie

value = driver.get_cookie(key)

• 删除某个cookie

driver.delete_cookie('key')

7：Selenium页面等待

页面等待
现在的网页越来越多采用了 Ajax 技术，这样程序便不能确定何时某个元素完全加载出来了。如果实际页面等待时间过长导致某个dom元素还没出来，但是你的代码直接使用了这个WebElement，那么就会抛出NullPointer的异常。为了解决这个问题。所以Selenium 提供了两种等待方式：一种是隐式等待、一种是显式等待

  • 隐式等待：调用driver.implicitly_wait。那么在获取不可用的元素之前，会先等待10秒中的时间
driver.implicitly_wait(10)
  • 显示等待：显示等待是表明某个条件成立后才执行获取元素的操作。也可以在等待的时候指定一个最大的时间，如果超过这个时间那么就抛出一个异常。显示等待应该使用selenium.webdriver.support.excepted_conditions期望的条件和selenium.webdriver.support.ui.WebDriverWait来配合完成
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get("https://www.baidu.com/")
try:
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, "id"))
    )
finally:
    driver.quit()

一些其他的等待条件
• presence_of_element_located：某个元素已经加载完毕了。
• presence_of_all_elements_located：网页中所有满足条件的元素都加载完毕了。
• element_to_be_clickable：某个元素是可以点击了

注意：一般加上显示等待配合隐式

更多条件请参考：
详情请点击查看

8：打开多窗口和切换页面

• 有时候窗口中有很多子tab页面。这时候肯定是需要进行切换的。selenium提供了一个叫做switch_to_window来进行切换，具体切换到哪个页面，可以从driver.window_handles中找到
在这里插入图片描述

# 打开一个新的页面
driver.execute_script("window.open('url')")
print(driver.current_url)
# 切换到这个新的页面中
driver.switch_to_window(self.driver.window_handles[1])

9：调用JavaScript代码

from selenium import webdriver
from time import sleep

#1.访问百度
driver=webdriver.Chrome()
driver.get("http://www.baidu.com")

#2.搜索
driver.find_element_by_id("kw").send_keys("selenium")
driver.find_element_by_id("su").click()

#3.休眠2s目的是获得服务器的响应内容，如果不使用休眠可能报错
sleep(2)

#4.通过javascript设置浏览器窗口的滚动条位置
js="window.scrollTo(100,450);"
driver.execute_script(js)
sleep(3)

driver.close()
  • 通过浏览器打开百度进行搜索，并且提前通过set_window_size()方法将浏览器窗口设置为固定宽高显示，目的是让窗口出现水平和垂直滚动条。然后通过execute_script()方法执行JavaScripts代码来移动滚动条的位置。
    滚动条上下左右滚动代码演示
from selenium import webdriver
from time import sleep

driver=webdriver.Chrome()
driver.set_window_size(400,400)
driver.get("https://www.baidu.com")

#2.搜索
# driver.find_element_by_id("kw").send_keys("selenium")
# driver.find_element_by_id("su").click()

#3.休眠2s目的是获得服务器的响应内容，如果不使用休眠可能报错
sleep(10)


#4 滚动左右滚动条---向右
js2 = "var q=document.documentElement.scrollLeft=10000"
driver.execute_script(js2)
sleep(15)

#5 滚动左右滚动条---向左
js3 = "var q=document.documentElement.scrollLeft=0"
driver.execute_script(js3)
sleep(15)

#6 拖动到滚动条底部---向下
js = "var q=document.documentElement.scrollTop=10000"
driver.execute_script(js)
sleep(15)

#7 拖动到滚动条底部---向上
js = "var q=document.documentElement.scrollTop=0"
driver.execute_script(js)
sleep(15)

driver.close()

滚动到页面底部也可以这样

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

窗口截图

在这里插入图片描述
在这里插入图片描述

无界面浏览器


option=webdriver.ChromeOptions()
option.add_argument('headless') # 设置option
driver = webdriver.Chrome(chrome_options=option)  # 调用带参数的谷歌浏览器

selenium规避被检测识别

现在不少大网站有对selenium采取了监测机制。比如正常情况下我们用浏览器访问淘宝等网站的window.navigator.webdriver的值为undefined。而使用selenium访问则该值为true。那么如何解决这个问题呢?
只需要设置Chromedriver的启动参数即可解决问题。在启动Chromedriver之前，为Chrome开启实验性功能参数excludeSwitches，它的值为[‘enable-automation’]

from selenium.webdriver import Chrome
from selenium.webdriver import ChromeOptions

option = Chromeoptions()
option.add_experimental_option('excludeSwitches',['enable-automation'])
driver = Chrome(options=option)
代码小风
关注
Selenium 使用教程
kerongao的博客
11-20 1371
Selenium 使用教程 1. 概述 本文介绍了如何使用Selenium和JUnit来抓取页面信息 2. Selenium 集成 在下面，我们将从一个简单的场景开始：打开一个浏览器窗口，导航到一个给定的URL并在页面中寻找一些所需的内容 2.1 Maven 依赖 在pom.xml文件中，添加以下依赖项: <dependency> <groupId>org.seleniumhq.selenium</groupId> <artifactId>se
selenium使用
GMH的博客
03-28 1217
概念：基于浏览器自动化的一个模块。 环境的安装： pip install selenium selenium和爬虫之间的关联： 模拟登录 便捷的捕获到动态加载的数据（重点） 特点：可见及可得 缺点：效率低 selenium的具体使用 准备浏览器的驱动程序：http://chromedriver.storage.googleapis.com/index.html 具体代码实现： from ...
python爬虫六：js2py以及selenium的使用
weixin_49088841的博客
08-02 585
1、js2py简介 http://www.porters.vip/verify/sign/ # 案例查看 Python中执行JS代码,通常两个库:js2py,pyexecjs js2py是纯python实现的库,用于在python中运行js代码,本质上是将js代码翻译成python代码 js2py安装 pip install js2py 1.1快速入门 import js2py print(js2py.eval_js('console.log("hello wrold")'))#括号内的为js语法可为语句可
python爬虫---selenium模块
最新发布
。
09-21 1226
介绍seleium模块使用方法并演示如何使用
爬虫之selenium模块
weixin_30360497的博客
09-12 233
Selenium 简介 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 安装 1 下载驱动 ? 1 ...
如何利用selenium使用代理IP？
guoguoip的博客
02-28 2466
然后，我们使用了Chrome浏览器作为自动化测试的工具，并设置了浏览器选项，以便将HTTP代理应用于浏览器中的所有网络请求。接着，我们执行了一些自动化测试，例如在表单中填写用户名和密码，并单击提交按钮。Selenium是一种用于自动化浏览器的工具，可以用于模拟用户行为，例如访问网站、填写表单、单击按钮等，也可以使用Selenium和HTTP代理来模拟真实用户行为，绕过网站反爬虫机制，以及保护我们的隐私。因此，在使用HTTP代理时，我们需要谨慎选择可靠的HTTP代理，并定期测试它们是否有效。
Selenium 使用已开启的浏览器执行测试
m1992222的博客
06-28 1909
实际测试工作中可能遇到某些需要使用手动开启浏览器执行测试的情况，比如某些网站登录需要手机短信验证，为了跳过这步，可以手动登录网站，在已登录的页面继续测试。--user-data-dir 指定创建新的chrome配置文件的目录，为了确保在单独的配置文件中启动浏览器，不会破坏默认的配置文件。--remote-debugging-port 端口值可以指定任何打开的端口。1、启动浏览器dbug模式时需要把浏览器打开的进程先全部关闭。2、9222是默认端口，可以修改，但不要使用已经被占用的端口。
behave-selenium:Selenium使用python，behavior和docker的示例
05-01
Selenium的示例使用行为 python，behavior，selenium，webdriver和docker的快速示例以运行prallel测试 安装Docker并创建一个包含2个节点的Selenium网格 docker run -d -p 4444：4444 --name selenium-hub selenium /...
Selenium使用说明.pdf
11-16
本文主要围绕Selenium的使用展开，包括其版本介绍、安装步骤以及核心组件的运用。 首先，Selenium 有四个主要版本：Selenium IDE、Selenium Core、Selenium RC（Remote Control）和Selenium WebDriver。Selenium ...
Selenium详细使用手册
10-16
Selenium详细使用手册，一步一步仔细，可惜是英文版的。
7、Selenium的使用
方同学的博客
07-09 95
环境配置：Google Chrome + chromedriver（版本要与Chrome相同，chromedriver.exe放到python.exe所在的文件目录下）+ selenium 3.141.0 # # 本地Chrome浏览器的静默模式设置： # from selenium import webdriver #从selenium库中调用webdriver模块 # from selenium.webdriver.chrome.options import Options # 从options模块中
Selenium使用方法
m0_54255329的博客
06-03 696
一、x-path练习:图片保存 import requests from lxml import etree import csv def get_net_data(): url = 'https://www.umei.net/' response = requests.get(url) response.encoding = 'utf-8' print(response.text) return response.text def download_imag
网络爬虫——Selenium的使用
吴声子夜歌的博客
07-23 941
Selenium 最初是由 Shinya Kasatani 基于火狐(Firefox)浏览器开发的工具，其主 要用于网站的自动化测试。读者可以在火狐浏览器中安装 Selenium IDE 插件，并使用 该插件录制在浏览器中的执行动作(如表单提交、单击和鼠标的移动等)。在本章中， 我们将重点介绍 Selenium WebDriver 的使用。Selenium WebDriver 主要应用于程序 (Java、Python 和 C#等)与浏览器的交互，其可以用来实现数据的采集。
selenium用法
摘 月
07-04 4163
selenium：只要人能做的，都可以使用代码实现隐式，显式等待模拟前进后退切换选项卡执行js异常处理动作链：模拟点击，拖拽行为自动登录12306（前端能够检测到是否使用了selenium）获取登录的cookie继续使用selenium：add_cookie使用requests携带cookiexpath语法：lxml为例（lxml是解析器），bs4、re、selenium自带的、lxml这些都有xpath、css。
Selenium的使用——一篇文章带你入门Selenium
降温的博客
04-05 8111
文章目录1.准备工作2.基本使用3.声明浏览器对象4.访问页面5.查找节点单个节点多个节点6.节点交互7.动作链8.执行JavaScript9.获取节点信息获取属性读取文本值获取id、位置、标签名和大小10.切换Frame11.延时等待隐式等待显示等待12.前进和后退13.Cooikes14.选项卡管理15.异常处理 Selenium是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作等，同时还可以获取浏览器当前呈现的页面代码，做到可以见即可爬。对于一些JavaScript动态渲染的
selenium 使用
09-26
selenium是一个自动化测试工具，它可以模拟用户在浏览器上的操作，如点击、输入、下拉选择等。通过使用selenium，可以编写自动化测试脚本，以验证Web应用程序的功能和性能。 为了使用selenium，你需要安装selenium库，并选择一个浏览器驱动程序，如ChromeDriver或GeckoDriver。然后，你可以使用selenium提供的API来编写测试脚本。 在你提供的引用中，第一个引用是关于selenium的使用说明，但由于没有提供具体的内容，我无法给出详细的回答。如果你提供了更多关于selenium使用的具体问题，我将很乐意为你解答。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值