Python---Selenium原理详细解析

最新推荐文章于 2025-11-14 14:30:39 发布
原创 最新推荐文章于 2025-11-14 14:30:39 发布 · 832 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #selenium #开发语言

Python-Selenium环境准备

一、常见浏览器驱动地址：

chromedriver驱动地址:
  1. https://googlechromelabs.github.io/chrome-for-testing/
  2. https://registry.npmmirror.com/binary.html?path=chromedriver/
edge驱动地址：
  1. https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/

selenium运行流程：

  1. 测试脚本编写：测试人员编写基于 Selenium 库的自动化测试脚本，定义测试步骤和预期结果。
  2. 启动浏览器驱动：根据测试脚本指定的浏览器类型，启动相应的浏览器驱动程序。
  3. 选择浏览器类型：根据脚本配置，确定要使用的浏览器，如 Chrome、Firefox 等，不同浏览器对应不同的驱动程序。
  4. 打开目标网页：驱动程序根据测试脚本中的 URL，在对应的浏览器中打开目标网页。
  5. 定位网页元素：使用 Selenium 提供的定位方法（如 ID、XPath、CSS 选择器等），在打开的网页中定位需要操作的元素。
  6. 操作类型选择：确定对定位到的元素执行何种操作，如点击、输入文本或获取元素信息等。
  7. 执行操作：驱动程序模拟用户行为，在网页上执行相应的操作。
  8. 等待页面响应：操作执行后，等待页面加载或响应，确保页面状态稳定，以便进行后续操作。
  9. 判断是否有更多操作：检查测试脚本中是否还有其他操作需要执行，如果有，则返回定位网页元素步骤继续执行；如果没有，则关闭浏览器，结束测试流程。
    在这里插入图片描述

selenium运行原理（包含源代码）：

一、核心组件与调用链路

​ 用户脚本 → Selenium Python 客户端库 → ChromeDriver 驱动进程 → Chrome 浏览器

二、初始化阶段：从 webdriver.Chrome() 到浏览器启动
1. 查找并启动 ChromeDriver

​ Selenium 客户端库（selenium 包）的 webdriver 模块中，Chrome 类继承自 RemoteWebDriver，其初始化逻辑如下

# selenium/webdriver/chrome/webdriver.py
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.remote.webdriver import WebDriver

class Chrome(WebDriver):
    def __init__(self, executable_path="chromedriver", options=None, service=None):
        # 初始化 Chrome 服务（控制 ChromeDriver 进程）
        self.service = service or Service(executable_path)
        self.service.start()  # 启动 chromedriver 可执行文件（默认监听 localhost:9515）
        
        # 构造与 ChromeDriver 通信的基础 URL
        remote_server_url = f"http://localhost:{self.service.port}"
        
        # 调用父类 RemoteWebDriver 的初始化方法，建立与驱动的连接
        super().__init__(command_executor=remote_server_url, options=options)

关键逻辑：

  • Service 类负责通过 subprocess 启动 chromedriver 进程（可通过 executable_path 指定驱动路径，若未指定则从环境变量查找）。
  • chromedriver 启动后默认监听本地端口（如 9515），等待接收 HTTP 请求。
2. 创建浏览器会话（Session）
步骤 1：查找并启动 ChromeDriver 进程
# selenium/webdriver/chrome/webdriver.py（简化版）
# Selenium 客户端库（selenium 包）的 Chrome 类在初始化时，会首先启动 chromedriver 可执行文件（浏览器驱动）。这一步由 Service 类完成：

from selenium.webdriver.chrome.service import Service
from selenium.webdriver.remote.webdriver import WebDriver

class Chrome(WebDriver):
    def __init__(self, executable_path="chromedriver", options=None):
        # 初始化 Chrome 服务（控制 chromedriver 进程）
        self.service = Service(executable_path)
        self.service.start()  # 启动 chromedriver 进程

        # 构造与 ChromeDriver 通信的基础 URL（默认 http://localhost:9515）
        remote_server_url = f"http://localhost:{self.service.port}"

        # 调用父类初始化，传入通信 URL 和浏览器配置（options）
        super().__init__(command_executor=remote_server_url, options=options)
步骤 2：构造 Session 请求（客户端 → ChromeDriver）
# selenium/webdriver/remote/webdriver.py（简化版）
# 启动 chromedriver 后，客户端需要发送 创建会话的 HTTP 请求。这一步由父类 RemoteWebDriver 的 start_session 方法完成：

class WebDriver:
    def __init__(self, command_executor, options=None):
        self.command_executor = command_executor  # 如 http://localhost:9515
        self.start_session(options)  # 触发 Session 创建

    def start_session(self, capabilities):
        # 构造符合 WebDriver 协议的请求参数
        request_params = {
            "capabilities": {
                "alwaysMatch": capabilities.to_capabilities()  # 浏览器配置（如无头模式）
            }
        }

        # 发送 HTTP 请求：创建会话（POST /session）
        response = self.execute("newSession", request_params)

        # 提取 Session ID（后续所有操作的核心标识）
        self.session_id = response["value"]["sessionId"]
步骤 3：ChromeDriver 解析请求并启动浏览器
  1. 验证请求合法性：检查 capabilities 是否支持（如 browserName 是否为 chrome）。
  2. 启动 Chrome 浏览器进程：根据 goog:chromeOptions 中的配置（如 --headless=new 无头模式），调用 Chrome 的可执行文件（如 C:\Program Files\Google\Chrome\Application\chrome.exe）。
  3. 建立与浏览器的通信：通过 Chrome 的 DevTools Protocol（CDP）与浏览器建立 WebSocket 连接（通常监听 localhost:随机端口）。
  4. 生成 Session ID：为当前会话分配一个全局唯一的字符串（如 a1b2c3d4e5f6g7h8i9j0）。
步骤 4：返回 Session 信息（ChromeDriver → 客户端）

​ chromedriver 完成浏览器启动后，会返回一个 JSON 格式的响应

{
  "value": {
    "sessionId": "a1b2c3d4e5f6g7h8i9j0",  # 会话唯一标识
    "capabilities": {
      "browserName": "chrome",
      "browserVersion": "120.0.6099.109",
      "goog:chromeOptions": {
        "debuggerAddress": "localhost:53456"  # CDP 调试地址（供 chromedriver 内部使用）
      }
    }
  },
  "sessionId": "a1b2c3d4e5f6g7h8i9j0",
  "status": 0  # 0 表示成功（W3C WebDriver 协议状态码）
}
步骤 5：客户端保存 Session ID 并完成初始化

​ 客户端收到响应后，会提取 sessionId 并保存到 driver.session_id 属性中。后续所有操作（如 driver.get(url)）都会基于此 ID 与 chromedriver 通信。

三、操作执行阶段：以 driver.get(url) 为例

​ driver.get(url) 的执行链路可总结为：用户代码 → WebDriver.get() → RemoteWebDriver.execute() → CommandExecutor 发送 HTTP 请求 → ChromeDriver 处理 → 浏览器执行导航 → 响应返回客户端

步骤1：用户调用：从 driver.get(url) 到请求生成
1. WebDriver.get() 方法（用户直接调用）

WebDriver 类（selenium/webdriver/remote/webdriver.py）定义了 get 方法，它是用户操作的入口：

# selenium/webdriver/remote/webdriver.py
class WebDriver:
    def get(self, url):
        """导航到指定 URL"""
        self.execute("get", {"url": url})  # 调用 execute 方法发送命令
2. WebDriver.execute() 方法（生成请求核心）
# selenium/webdriver/remote/webdriver.py
class WebDriver:
    def execute(self, command, params=None):
        params = params or {}
        # 构造请求路径（格式：/session/{sessionId}/{command}）
        path = f"/session/{self.session_id}/{command}"

        # 调用 CommandExecutor 发送 HTTP 请求
        response = self.command_executor.execute(
            command=command,
            params=params,
            path=path
        )

        # 处理响应（如抛出异常或返回结果）
        if response.get("status"):
            raise self.exceptions.get(response["status"])(response["value"])
        return response.get("value")
3. CommandExecutor 发送 HTTP 请求（底层通信）
# selenium/webdriver/remote/remote_connection.py
class RemoteConnection:
    def execute(self, command, params, path):
        # 构造完整请求 URL（如 http://localhost:9515/session/a1b2c3d4/get）
        url = f"{self.remote_server_url}{path}"

        # 配置 HTTP 请求（POST 方法，JSON 格式请求体）
        method = "POST"
        body = json.dumps(params).encode("utf-8")

        # 使用 urllib3 发送请求（底层是 HTTP 客户端）
        response = self._request(method, url, body=body)

        # 解析响应（从 JSON 转换为 Python 字典）
        return json.loads(response.body.decode("utf-8"))
步骤2：ChromeDriver 处理请求：从 HTTP 到浏览器指令
  • 解析请求并验证 Session ID

    ChromeDriver 首先检查请求路径中的 sessionId（如 a1b2c3d4）是否存在且有效。若无效（如会话已关闭），返回 invalid session id 错误。

  • 将 WebDriver 命令转换为 DevTools Protocol（CDP）指令

    ChromeDriver 与 Chrome 浏览器通过 CDP（DevTools Protocol）通信。对于 get 操作，ChromeDriver 会调用 CDP 的 Page.navigate 方法：

  • 等待浏览器完成导航
步骤3：响应返回：从浏览器到客户端
  • ChromeDriver 生成响应
    {
  "value": {},  # get 操作无返回值（导航成功时）
  "sessionId": "a1b2c3d4",
  "status": 0  # 0 表示成功（W3C 状态码）
}
  • 客户端解析响应并处理

    客户端收到响应后，RemoteConnection.execute() 方法会解析 JSON 响应，并返回给 WebDriver.execute() 方法：

    # selenium/webdriver/remote/webdriver.py
class WebDriver:
    def execute(self, command, params=None):
        response = self.command_executor.execute(...)
        if response.get("status"):  # 检查是否有错误状态码
            # 根据状态码抛出对应的异常（如 NoSuchWindowException、InvalidArgumentException）
            raise self.exceptions.get(response["status"])(response["value"])
        return response.get("value")  # 成功时返回空（get 操作无返回值）
    步骤4：完整源代码解析过程
    用户代码：driver.get("https://example.com")
↓
WebDriver.get() → 调用 execute("get", {"url": url})
↓
WebDriver.execute() → 构造路径 /session/{sessionId}/get，调用 command_executor.execute()
↓
RemoteConnection.execute() → 发送 HTTP POST 请求到 http://localhost:9515/session/{sessionId}/get，请求体 {"url": url}
↓
ChromeDriver → 解析请求，通过 CDP 发送 Page.navigate 指令到浏览器
↓
浏览器 → 加载 URL，完成导航
↓
ChromeDriver → 生成响应 JSON（如 {"value": {}, "status": 0}）
↓
RemoteConnection.execute() → 解析响应 JSON
↓
WebDriver.execute() → 检查状态码，无错误则返回
四、异常处理与资源释放

当用户调用 driver.quit() 时，客户端会发送 DELETE /session/{sessionId} 请求，通知 chromedriver 关闭浏览器并终止自身进程：

# selenium/webdriver/remote/webdriver.py
class WebDriver:
    def quit(self):
        try:
            self.execute("quit")  # 发送关闭会话请求
        finally:
            self.service.stop()  # 终止 chromedriver 进程
五、调用链关键数据流动
阶段关键数据示例值 / 格式
启动 chromedriver驱动监听 URLhttp://localhost:9515
创建 Session 请求请求体（浏览器配置）{"capabilities": {"alwaysMatch": ...}}
Session 响应Session ID"a1b2c3d4"
get 操作请求请求 URLhttp://localhost:9515/session/a1b2c3d4/get
get 操作请求体导航 URL{"url": "https://example.com"}
浏览器 CDP 指令Page.navigate 参数{"url": "https://example.com"}
get 操作响应响应状态码0（成功）
六、时序图
  1. 用户代码（UC）：代表用户编写的包含 Selenium 代码的程序。
  2. Chrome 类（Chrome）：负责与chromedriver进程交互，初始化相关环境。
  3. chromedriver 进程（CDP）：作为 Selenium 与浏览器之间通信的桥梁，处理各种请求并控制浏览器。
  4. RemoteWebDriver（RWD）：Selenium 中用于远程控制浏览器的关键组件，负责协调各部分交互并处理请求和响应。
  5. 浏览器（Browser）：实际执行网页导航等操作的应用程序。
    在这里插入图片描述
selenium原理python_从python角度解析selenium原理
weixin_28807463的博客
01-30 896
1、selenium工作流程2、selenium工作原理(1)客户端和服务端之间实际是通过http协议进行通信，服务端的接口文档可参考：https://github.com/SeleniumHQ/selenium/wiki/JsonWireProtocol#sessionsessionidelement(2)客户端按照服务端接口要求传入请求方式、请求url和请求数据，然后发送http请求，服务端收...
python-scrapy+redis+selenium实现字节职位数据爬取
m0_63483888的博客
02-21 1398
本文为本人爬虫课程设计内容，欢迎各路大神指导！
一、Python-Selenium原理解析
weixin_46190208的博客
05-08 886
的执行链路可总结为：用户代码 → WebDriver.get() → RemoteWebDriver.execute() → CommandExecutor 发送 HTTP 请求 → ChromeDriver 处理 → 浏览器执行导航 → 响应返回客户端。​ 用户脚本 → Selenium Python 客户端库 → ChromeDriver 驱动进程 → Chrome 浏览器。ChromeDriver 与 Chrome 浏览器通过 CDP（DevTools Protocol）通信。
【Python爬虫基础篇】--4.Selenium入门详细教程
我是个好人呀，O(∩_∩)O
04-24 3349
Selenium 是一种开源工具，用于在Web 浏览器上执行自动化测试（使用任何 Web 浏览器进行 Web 应用程序测试）。提供一套测试函数，用于支持Web自动化测试。函数非常灵活，能够完成界面元素定位、窗口跳转、结果比较。重申一下，Selenium 仅可以测试Web应用程序。我们既不能使用 Selenium 测试任何桌面（软件）应用程序，也不能测试任何移动应用程序。多浏览器支持如IE、Firefox、Safari、Chrome、Android手机浏览器等。支持多语言。
从python角度解析selenium原理
2201_76100073的博客
06-14 1065
（3）selenium实际已封装好各种操作接口的请求函数，用户只需通过指定的方法传入数据即可，如get、click、find_element实际都是封装了整个http请求过程的方法；（4）可见，完全可以跳过selenium，自己通过requests模块构建请求信息发送给驱动程序，从而驱动浏览器执行相关操作。（2）客户端按照服务端接口要求传入请求方式、请求url和请求数据，然后发送http请求，服务端收到请求后驱动浏览器执行命令；（2）通过selenium实现工作流。（3）selenium源码解析。
【Python爬虫--scrapy+selenium框架】超详细的Python爬虫scrapy+selenium框架学习笔记（保姆级别的，非常详细）
m0_67844671的博客
05-31 6773
Python爬虫--scrapy+selenium框架】超详细的Python爬虫scrapy+selenium框架学习笔记（保姆级别的，非常详细）
Python - 爬虫之Selenium
GitLqr的博客
07-12 554
欢迎关注微信公众号：FSA全栈行动 ???? 一、Selenium 的介绍 Selenium 是一个 Web 自动化测试工具，最初是为网站自动化测试而开发，Selenium 可以直接调用浏览器，它支持所有主流的浏览器（包括 PhantomJS 这些无界面的浏览器），可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏等。 1、Selenium 启动 Chrome 在下载好 chromedriver 以及安装好 selenium 模块后，执行下列代码： from selenium import
Python - Selenium(Web 自动化开源工具)
MinggeQingchun的博客
06-03 1148
是一个强大的 Web 自动化开源工具，广泛应用于自动化测试、数据爬取和浏览器操作模拟等领域。Selenium提供一套测试函数，用于支持Web自动化测试，能够完成界面元素定位、窗口跳转、结果比较等。，既不能使用 Selenium 测试任何桌面（软件）应用程序，也不能测试任何移动应用程序。
Python全栈开发-Python爬虫-13 Selenium自动化与爬虫
kc44601的博客
07-19 538
Selenium自动化与爬虫 一. selenium自动化介绍与安装 1.1 Selenium自动化介绍 Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器），可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏 安装 pip insatll selenium 1.2 Chromedriver的介绍 WebDriver是一个用来进行复杂重复的web自动化测试的工
python-selenium-parser：使用Selenium WebDriver自动执行GoogleYandex搜索
03-03
Selenium WebDriver的工作原理是通过生成特定的指令，这些指令可以被浏览器的驱动程序接收并执行。Python提供了对Selenium的接口支持，使得开发者可以用Python代码编写自动化脚本来控制浏览器。这个项目的核心可能...
python-datascraping-fotocasa-idealista:如何使用Selenium将数据抓取到idealista和fotocasa页面的示例
04-29
在这个项目“python-datascraping-fotocasa-idealista”中，我们将深入探讨如何利用Selenium库来从西班牙知名的房地产网站Fotocasa和Idealista抓取数据。 Selenium是一个强大的自动化测试工具，同时也被广泛用于...
selenium-selenium-4.5.0.zip源码
10-24
深入研究 Selenium 4.5.0 的源码，不仅有助于理解自动化测试的基本原理，还能帮助开发者更好地利用 Selenium 的功能，解决实际测试中的问题，甚至为框架贡献自己的代码。通过分析源码，我们可以学习到软件设计模式、...
了解一下Sentry（一个开源的实时错误监控平台）
最新发布
xixixi7777的博客
11-14 764
对于现代软件开发团队来说，Sentry已经成为提升软件质量、改善用户体验、加速问题排查的。无论是初创公司还是大型企业，都能从中获得显著的投资回报。：不仅知道错误是什么，还知道谁在什么环境下做了什么操作。发生时间: 2024-01-15 20:30:00。一般错误：24小时内处理（P2）：记录错误发生前的用户操作路径。重要错误：1小时内处理（P1）# 自动捕获所有未处理异常。关键错误：立即通知（P0）：通过错误趋势衡量代码质量。：统一的问题跟踪和处理流程。// 捕获未处理异常。// Android示例。
部署搭建jumpserver堡垒机及跳板机的详解（通俗易懂）
weixin_61576086的博客
11-13 1275
就是解决运维权限混乱，操作无审计。Jumpserver是一款开源的堡垒机，可使系统的管理员和开发人员安全的连接到企业内部服务器上执行操作，并且支持大部分操作系统，是一款非常安全的远程连接工具。常见支持的系统：CentOS，RedHat，Fedora，Amazon LinuxDebianSUSE，UbuntuFreeBSD其他ssh协议硬件设备。通过本次Jumpserver堡垒机的完整部署实践，我们深入了解了企业级堡垒机的核心价值与实现原理。
Redhat7.9 安装 DeepSeek-OCR 记录
snowjlz的专栏
11-11 484
主要原因是GCC版本太低或者太高。
软件测试---携程网站（全国大学生软件测试大赛Web测试题目）
xiaoxie_life_study
11-11 624
摘要：该代码是携程网站机票搜索功能的自动化测试脚本，基于Selenium WebDriver和JUnit5框架实现。包含三个测试用例：1）基本UI测试；2）国内航班搜索测试（北京/上海至广州/成都）；3）国际航班搜索测试（北京/上海至东京/大阪）。测试验证了单程票搜索、日期选择、舱等选择等功能，并针对异常输入（如"111111"）进行测试。每个测试用例都会截图保存结果，使用参数化测试覆盖多个城市组合。代码实现了日期选择器的智能翻页功能，最多翻24页查找目标日期，确保测试稳定性。
第12天python内容
weixin_45292939的博客
11-11 614
本文系统梳理了Python基础语法的核心知识点，包括四个关键部分：1）标识符命名规则与变量赋值，强调合法标识符的写法及多变量赋值技巧；2）字符串操作，详细讲解索引、切片方法和常用字符串函数；3）数据类型及其转换，涵盖整型、浮点型、字符串和布尔值的相互转换；4）运算符使用，重点说明算术、关系和逻辑运算符的特性及应用场景。每个知识点均配有示例代码和模拟题解析，帮助学习者快速掌握语法要点并通过实践练习巩固理解。全文采用结构化编排，突出考试高频考点，适合Python初学者系统学习基础语法。
pyqt 横竖屏切换
jacke121的专栏
11-13 444
pyqt 横竖屏切换
【vscode配置python环境】全流程图文教程
qq_62223405的博客
11-12 1233
▲vscode配置python环境；▲创建虚拟环境；
Python环境下的Selenium-grid搭建与selenium-server-standalone-v3.0.1配置教程
通过详细解析上述文件信息，我们可以了解到Selenium自动化测试工具的重要组件、如何使用它们以及如何搭建和配置一个有效的测试环境。这对于进行Web应用程序测试的IT专业人员来说是至关重要的知识。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值