爬虫笔记之——selenium安装与使用（1）

已于 2023-02-13 10:51:42 修改
阅读量2.2k 收藏 8
点赞数
分类专栏： Python爬虫 文章标签： 爬虫 selenium python
于 2023-02-11 14:00:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/alijunshan/article/details/128954639
版权

爬虫笔记之——selenium安装与使用（1）

  • 认识selenium
    • Selenium是一个用于Web应用程序测试的工具，Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7—11），Firefox，Safari，Google，Chrome，Opera，Edge等。

一、安装环境

1、下载Chrome浏览器驱动

（1）查看Chrome版本

在这里插入图片描述

在这里插入图片描述

（2）下载相匹配的Chrome驱动程序

  • 地址：https://chromedriver.storage.googleapis.com/index.html

  • 打开之后，找上面查到的最新地址，如图
    在这里插入图片描述
  • 然后，把下载的压缩包解压，得到chromedriver.exe文件，复制到Python安装目录下，双击安装。
  • 打开cmd命令提示符，输入Chromedriver，之后显示如下图样，就代表安装成功了。
    在这里插入图片描述
  • 以上是Chrome浏览器的驱动安装，其他浏览器可以对应下载。

2、学习使用selenium

（1）安装selenium，用pip install selenium -i 源镜像

（2）开始编程

  • 下面是VSCode里面录入的代码，其中定义浏览器的时候，会自动弹出各种浏览器模式
    在这里插入图片描述

  • 运行此时的程序，会弹出浏览器界面3秒钟。此时，并没有打开任何的页面
    在这里插入图片描述

  • 继续编写代码，并点击运行，打开一个百度页面，如下图。
    在这里插入图片描述

  • 再获取百度首页的源代码，如下图。
    在这里插入图片描述

  • 上面完整代码如下，最后关闭。

    # -*- coding:utf-8 -*-
# pip install selenium -i 源镜像


from selenium import webdriver
import time 

# 打开谷歌浏览器
driver = webdriver.Chrome()

# 使用谷歌浏览器打开百度
url = 'https://www.baidu.com'
driver.get(url)

# 设置打开的浏览器——窗口最大化
driver.maximize_window()

# 获取源代码(注意后面没括号)
response = driver.page_source
print(response)


time.sleep(5)

driver.close()

3、页面元素定位

（1）通过ID值定位

  • driver.find_element(By.ID,“kw”)
    在这里插入图片描述

（2）通过CLASS值定位

  • driver.find_element(By.CLASS_NAME,“s_ipt”)

（3）通过NAME定位

  • driver.find_element(By.NAME,“wd”)

（4）通过TAG_NAME定位

  • driver.find_element(By.TAG_NAME,“div”)
  • 说明：HTML本质就是由不同的tag（标签）组成，而每个tag都是指同一个类，所以tag定位效率低，一般不建议使用

（5）通过XPATH语法定位

  • driver.find_element(By.XPATH,“//*[@id=“su”]”).click()
  • 通过复制得到“//*[@id=“su”]”，然后粘贴到上面代码中
    在这里插入图片描述
  • 代码如下：
    # -*- coding:utf-8 -*-

import time
from selenium import webdriver
from selenium.webdriver.common.by import By

# 打开谷歌浏览器
driver = webdriver.Chrome()

# 使用谷歌浏览器打开百度
driver.get('https://www.baidu.com')

# 通过CLASS值定位,此处的class值是“s_ipt”
driver.find_element(By.CLASS_NAME,'s_ipt').send_keys("大家好")

# 通过XPATH语法定位“百度一下”按钮，并点击
driver.find_element(By.XPATH,'//*[@id="su"]').click()

time.sleep(5)
    • 运行后，自动实现搜索，效果如下。
      在这里插入图片描述

（6）通过CSS语法定位

  • driver.find_element(By.CSS_SELECTOR,“#su”).click()
  • 上面代码也能实现这样的效果

（7）通过文本定位–精确定位

  • driver.find_element(By.LINKE_TEXT,“在希望的田野上”)

（8）通过部分文本定位–模糊定位

  • driver.find_element(By.PRATIAL_LINK_TEXT,“希望”)

4、操作表单元素及其他操作

（1）输入内容、清除内容、鼠标单击

# 输入内容
send_keys('python')
# 清除输入框内容
clear()
# 鼠标单击
click()

（2）行为链

  • 在用selenium操作页面时，有时要分为很多步骤，那么这个时候可以用鼠标行为链类ActionChains来完成。
    # -*- coding:utf-8 -*-

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.action_chains import ActionChains

# 打开谷歌浏览器
driver = webdriver.Chrome()

# 使用谷歌浏览器打开百度
driver.get('https://www.baidu.com')


# 定位搜索框
inputtag = driver.find_element(By.ID,"kw")

# 百度一下按钮
submittag = driver.find_element(By.ID,"su")

# 建立行为链
actions = ActionChains(driver)

# 给搜索框发送数据
actions.move_to_element(inputtag)
actions.send_keys_to_element(inputtag,'python')

# 选中提交按钮并提交
actions.move_to_element(submittag)
actions.click(submittag)

# 统一执行
actions.perform()
time.sleep(5)

（3）动作链

  • ActionChains方法列表
    click(on_element=None)——单击鼠标左键
click_and_hold(on_element=None) ——点击鼠标左键，不松开
context_click(on_element=None) ——点击鼠标右键
double_click(on_element=None)——双击鼠标左键
drag_and_drop(source, tanget)——拖拽到某个元素然后松开
key_down(value, element=None)——按下某个键盘上的键
key_up(value, element=None)——松开某个键
move_to_element(to_element)——鼠标移动到某个元素
perform() ——执行链中的所有动作
release(on_element=None) ——在某个元素位界松开鼠标左键
send_keys(*keys_to_send) ——发送某个键到当前焦点的元素
send_keys_to_element(element,*keys_to_send)——发送某个键到指定元素
drag_and_drop_by_offset(element, x,y)——把元素拖动到指定的坐标
  • 举例说明鼠标移动。
    # -*- coding:utf-8 -*-

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.action_chains import ActionChains

driver = webdriver.Chrome()
driver.get('http://sahitest.com/demo/mouseover.htm')

# 定位到显示文本框,还是用xpath方法
display = driver.find_element(By.XPATH,'//input[@value="Write on hover"]')
# 定位到隐藏文本框
hide = driver.find_element(By.XPATH,'//input[@value="Blank on hover"]')

action = ActionChains(driver)
time.sleep(3)

action.move_to_element(display).perform()
time.sleep(3)

action.move_to_element(hide).perform()
time.sleep(3)
  • 效果如图。
    在这里插入图片描述
  • 举例说明鼠标拖拽的几种情况。
    # -*- coding:utf-8 -*-

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.action_chains import ActionChains

driver = webdriver.Chrome()
driver.get("http://sahitest.com/demo/dragDropMooTools.htm")



dragger = driver.find_element(By.XPATH, '//div[@id="dragger"]')

item1 = driver.find_element(By.XPATH,'//html/body/div[2]')
item2 = driver.find_element(By.XPATH,'//html/body/div[3]')
item3 = driver.find_element(By.XPATH,'//html/body/div[4]')
item4 = driver.find_element(By.XPATH,'//html/body/div[5]')


action = ActionChains(driver)

# 下面是直接拖拽的动作
action.drag_and_drop(dragger, item1).perform()
time.sleep(3)
# 下面是先点击目标不松开，再定位item2位置松开
action.click_and_hold(dragger).release(item2).perform()
time.sleep(3)
# 下面是先点击目标不松开，然后滑动到item3位置松开
action.click_and_hold(dragger).move_to_element(item3).release().perform()
time.sleep(3)
action.drag_and_drop(dragger, item4).perform()
time.sleep(3)
driver.quit()
  • 结果就是每过1秒，拖拽一个蓝色的方框，到目的地。如图。
    在这里插入图片描述

（4）点击操作（继续学习行为链）

  • 示例网站：http://sahitest.com/demo/clicks.htm
    # -*- coding:utf-8 -*-

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.action_chains import ActionChains

driver = webdriver.Chrome()
driver.get("http://sahitest.com/demo/clicks.htm")

# 单击按钮
click_one = driver.find_element(By.XPATH, '//input[@value="click me"]')

# 双击按钮
click_dbl = driver.find_element(By.XPATH, '//input[@value="dbl click me"]')

# 右击按钮
click_rgt = driver.find_element(By.XPATH, '//input[@value="right click me"]')

# 定义下面的一个行为链，完成单击，双击，右击
ActionChains(driver).click(click_one).double_click(click_dbl).context_click(click_rgt).perform()
time.sleep(5)
  • 效果如图。
    在这里插入图片描述

  • 注意：鼠标滑动、拖拽是动作链，一连串的点击是行为链。

5、行为链中的等待（Explicit Waits）

在这里插入图片描述

  • 示例代码。
    # -*- coding:utf-8 -*-
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.common import TimeoutException
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get("https://www.baidu.com")

# 定义一个递归函数
def search():
    try:
        input = WebDriverWait(driver, 10).until(
            EC.presence_of_element_located((By.ID, "kw")))
        input.send_keys("大家好")
        time.sleep(10)
    except TimeoutException:
        # 重复进入函数尝试完成
        return search()        

if __name__ =='__main__':
    search()
山哥ol
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
测试学习笔记---selenium（1）
qq_45789134的博客
07-22 533
selenium是一个用于web应用程序测试的工具，可以在多个不同的浏览器上进行自动化测试。测试人员可以使用Java、python、c#等语言，利用他们提供的库来编写脚本使用selenium，不同的浏览器都包含一个单独的浏览器驱动程序，浏览器驱动与相应的浏览器通信。.........
Python爬虫——selenium模拟京东网站登录（一）
01-20
1.导入需要的库 import time from selenium import webdriver 2.浏览器获取驱动 需要下载跟chrome浏览器相匹配的驱动driverchrome.exe，详情见：根据电脑浏览器的版本下载相应的驱动chromedriver.exe，环境变量的...
selenium安装
qq_24889005的博客
02-26 2755
安装selenium 一、下载驱动 到下面的镜像网站根据chrome浏览器的版本号下载对应版本的驱动。 http://npm.taobao.org/mirrors/chromedriver/ 二、环境变量配置 将下载到本地的chromedriver驱动同时放到chrome浏览器安装目录和python环境script目录下，然后将这两个路径分别添加到系统环境变量中。 如： C:\Program Files (x86)\Google\Chrome\Application D:\Anaconda3\envs\te
mediawiki-selenium:Github的“ mediawikiselenium”镜像-我们的实际代码由Gerrit托管（请参见https
05-13
MediaWiki-Selenium MediaWiki-Selenium是一个Ruby框架，用于针对安装实施和执行验收测试。 它由许多核心依赖项和本机API组成，可帮助您描述与MediaWiki相关的功能的预期行为，并推动跨浏览器的仿真，以确保实现的正确性。 核心依存关系 提供了用于描述应用程序功能的自然语言，用于将自然语言绑定到用Ruby编写的步骤定义的基本API，以及用于执行套件的测试运行程序。 可帮助您在测试套件中实现，从而更好地封装应用程序UI的预期结构和机制。 和用于驱动浏览器会话。 用于声明对方案结果的期望。 安装 需要Ruby 1.9或更高版本，建议使用2.1。 最简单的安装方法是在Linux / Unix / OS X上使用或 ，在Windows上使用 。 在与MediaWiki相关的项目的根目录中创建一个Gemfile ，以指定要使用的mediawiki_sel
Selenium安装步骤详解
最新发布
m0_57842734的博客
06-22 384
Selenium 是一个用于自动化浏览器的开源工具，它允许开发者和测试人员编写脚本来模拟用户在网页上的操作。它广泛用于 Web 应用的测试自动化，支持多种浏览器（如 Chrome、Firefox、Safari 等）以及多种编程语言（如 Python、Java、C# 等）。
selenium环境安装及使用
weixin_50464533的博客
02-23 2350
selenium环境安装及使用
Python Selenium安装
pound的博客
10-31 2246
python selenium模块学习
VSCode，配置python环境
qq_27009517的博客
10-22 434
下载VSCode，打开浏览器输入 https://code.visualstudio.com 下载安装 vscode搭建python环境 　　（1）安装好vscode后，打开，Ctrl+Shift+x进行扩展程序的安装，搜索python，点击第一个进行安装。（我的已经经过汉化，汉化过程在下面插件中有介绍） 　　（2）然后新建一个文件，这个文件就是你现在的工作空间。 　　创建好之后会变成大写，如下所示： 　　（3）点击左下角齿轮图标 选择设置，点击工作区，点击右上角使...
Selenium 爬虫笔记
11-06
**Selenium 爬虫笔记** Selenium 是一个强大的网页自动化测试工具，但它在Web爬虫领域也有广泛的应用。这个笔记将深入探讨如何利用Selenium进行网页数据抓取，以及它在处理动态加载内容、登录验证和模拟用户交互等...
python-selenium的使用——爬虫
12-21
Python-selenium是一个强大的自动化测试工具，它允许程序员模拟真实用户在浏览器中的操作，这在爬虫领域非常有用，特别是对于动态加载或者需要交互才能显示完整内容的网页。在这个场景中，作者想要通过编写爬虫抓取...
python爬虫开发之selenium模块详细使用方法与实例全解
09-17
Python爬虫在处理动态网页时，常常会遇到JavaScript渲染的问题，这时Selenium模块就显得尤为重要。Selenium最初设计用于自动化测试，它支持多种浏览器，如Chrome、Firefox等，并且能够模拟真实用户的行为，包括页面...
python爬虫 使用selenium 实现中英互译
03-23
在Python中，使用Selenium首先需要安装`selenium`库，然后选择一个WebDriver来控制浏览器。常见的WebDriver有ChromeDriver和GeckoDriver（用于Firefox）。根据README的指示，你可能需要下载对应的WebDriver并配置...
selenium的安装和下载谷歌浏览器镜像驱动
flyskymood的博客
03-01 3715
selenium的安装
自动化测试之 selenium 的安装以及 selenium IDE 录制自动化脚本的用法
2201_76100073的博客
05-08 443
​ 1. 什么是自动化测试 自动化测试是指在预设的条件下，不需要手工干涉，机器就可以自动执行测试 预设的条件是指针对测试用例编写的自动化测试脚本 自动化的价值：脚本的复用率、复用率越高、价值越高 自动化测试包括：UI 自动化、接口自动化、单元测试自动化 ​
selenium的介绍和安装
m0_67448168的博客
11-23 1476
环境：VsCode。
selenium常用资源的阿里镜像链接
wqs1106的博客
05-09 3290
1. selenium各个历史版本： https://npm.taobao.org/mirrors/selenium/ 2. firefox webdriver各个历史版本： https://npm.taobao.org/mirrors/geckodriver/ 3. chrome webdriver各个历史版本： https://npm.taobao.org/mirrors/c
Selenium技术在CentOS6.8系统的腾讯云服务器上的docker镜像的Ubuntu容器里的相关使用（Linux环境下）
熊凯瑞的博客
05-06 746
一开始看标题，我知道你们会很懵，我当初完成的时候，我自己也很懵，主要是想在Linux环境下使用Selenium技术来完成一些工作，本来打算用docker创建一个Anaconda的容器来用Selenium技术的，但发现无法通过chrome驱动来驱动谷歌浏览器，所以我又用docker创建了一个Ubuntu容器来使用Selenium技术，至于为什么我不直接使用CentOS系统来使用，主要是原生环境的第三方库不配合自己的代码，实在是木有办法，而且也担心会干扰其它东西，所以还是在容器里搞吧。
安装selenium（超级详细）
热门推荐
m0_57206390的博客
03-03 4万+
安装selenium(超级详细），以及安装过程中可能报错的问题解决方案
Vscode使用Python开发环境过程中遇到No module named ‘selenium‘
qq_45860901的博客
04-20 2908
问题描述： 解决： 这个问题的产生很多原因。 第一种：你确实没安装selenium，只需要pip install selenium即可。 第二种（本问题的原因）： （1）我的安装过了，但是依旧是找不到。 （2）查看vscode的python解释器，位置不对。 使用了原生的python的路径。但是命令行的pip使用的是我之前下载的anaconda的路径。 所以一直找不到selenium。换成下面的anaconda的路径即可。 ...
selenium 镜像
03-28
Selenium镜像是一个预先配置好的环境，其中包含了Selenium WebDriver和相关的浏览器驱动程序，用于自动化测试和网页爬取。通过使用Selenium镜像，您可以方便地进行Web应用程序的自动化测试和数据采集。 Selenium镜像通常包含以下组件： 1. Selenium WebDriver：Selenium WebDriver是一个用于控制浏览器的工具，它可以模拟用户在浏览器中的操作，如点击、输入文本等。 2. 浏览器驱动程序：Selenium需要与特定的浏览器进行交互，因此需要安装相应的浏览器驱动程序。常见的浏览器驱动程序有ChromeDriver、Firefox GeckoDriver等。 3. 浏览器：Selenium支持多种浏览器，包括Chrome、Firefox、Safari等。 使用Selenium镜像可以带来以下好处： 1. 简化环境配置：镜像中已经预先配置好了Selenium和浏览器驱动程序，无需手动安装和配置，节省了时间和精力。 2. 跨平台支持：Selenium镜像可以在不同的操作系统上运行，如Windows、Linux、Mac等。 3. 可扩展性：可以根据需要自定义镜像，添加其他必要的工具和库。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

山哥ol

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值