技术学习：Python（21）｜爬虫篇｜selenium自动化操作浏览器

最新推荐文章于 2024-03-22 12:13:45 发布
最新推荐文章于 2024-03-22 12:13:45 发布
阅读量1.3k 收藏 21
点赞数 21
分类专栏： # 语言｜Python # 技术｜开发工具 文章标签： python 学习 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/L_Lycos/article/details/126455682
版权

​

活动地址：CSDN21天学习挑战赛

前言

Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera，Edge等。这个工具的主要功能包括：测试与浏览器的兼容性——测试应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和自动生成.Net、Java、Perl等不同语言的测试脚本。

1 selenium环境搭建

官方网址：https://www.selenium.dev/，可以参考官方提供信息来做相对应的操作，此处为学习知识而做的记录。

1.1 下载模块

打开终端，输入下载命令python -m pip install selenium，安装selenium以及依赖项。

Aion.Liu $ python -m pip install selenium
Collecting selenium
  WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'ConnectTimeoutError(<pip._vendor.urllib3.connection.HTTPSConnection object at 0x103860a90>, 'Connection to files.pythonhosted.org timed out. (connect timeout=15)')': /packages/50/1a/9b92b6be1f6bbcd4e5a5b1d8e5d0c7f8224054c3bf5ea81d371be47122e8/selenium-4.4.3-py3-none-any.whl
  Downloading selenium-4.4.3-py3-none-any.whl (985 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 986.0/986.0 kB 7.7 kB/s eta 0:00:00
Requirement already satisfied: certifi>=2021.10.8 in /usr/local/lib/python3.10/site-packages (from selenium) (2022.6.15)
Collecting trio-websocket~=0.9
  Downloading trio_websocket-0.9.2-py3-none-any.whl (16 kB)
Collecting trio~=0.17
  Downloading trio-0.21.0-py3-none-any.whl (358 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 359.0/359.0 kB 6.1 kB/s eta 0:00:00
Requirement already satisfied: urllib3[socks]~=1.26 in /usr/local/lib/python3.10/site-packages (from selenium) (1.26.11)
Collecting async-generator>=1.9
  Downloading async_generator-1.10-py3-none-any.whl (18 kB)
Requirement already satisfied: idna in /usr/local/lib/python3.10/site-packages (from trio~=0.17->selenium) (3.3)
Collecting sniffio
  Downloading sniffio-1.2.0-py3-none-any.whl (10 kB)
Collecting sortedcontainers
  Downloading sortedcontainers-2.4.0-py2.py3-none-any.whl (29 kB)
Collecting outcome
  Downloading outcome-1.2.0-py2.py3-none-any.whl (9.7 kB)
Collecting attrs>=19.2.0
  Downloading attrs-22.1.0-py2.py3-none-any.whl (58 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 58.8/58.8 kB 8.1 kB/s eta 0:00:00
Collecting wsproto>=0.14
  Downloading wsproto-1.1.0-py3-none-any.whl (24 kB)
Collecting PySocks!=1.5.7,<2.0,>=1.5.6
  Downloading PySocks-1.7.1-py3-none-any.whl (16 kB)
Collecting h11<1,>=0.9.0
  Downloading h11-0.13.0-py3-none-any.whl (58 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 58.2/58.2 kB 9.4 kB/s eta 0:00:00
Installing collected packages: sortedcontainers, sniffio, PySocks, h11, attrs, async-generator, wsproto, outcome, trio, trio-websocket, selenium
Successfully installed PySocks-1.7.1 async-generator-1.10 attrs-22.1.0 h11-0.13.0 outcome-1.2.0 selenium-4.4.3 sniffio-1.2.0 sortedcontainers-2.4.0 trio-0.21.0 trio-websocket-0.9.2 wsproto-1.1.0

关于其他语言或版本，请参考这里：https://www.selenium.dev/downloads/

1.2 安装浏览器驱动WebDriver

WebDriver 以本地方式驱动浏览器，就像用户在本地或使用 Selenium 服务器在远程机器上一样，这标志着浏览器自动化方面的飞跃。
Selenium WebDriver 指的是语言绑定和单个浏览器控制代码的实现。这通常被称为WebDriver。

Selenium WebDriver 是W3C 推荐的。

  • WebDriver 被设计为一个更简洁的编程接口。
  • WebDriver 是一个紧凑的面向对象的 API。
  • 它有效地驱动浏览器。

下面在mac中，安装谷歌浏览器WebDriver驱动。
首先按照官方的地址，下载软件，下载地址如下：

Ghrome/Chromium驱动程序下载地址：https://chromedriver.storage.googleapis.com/index.html

FireFox驱动程序下载地址：https://github.com/mozilla/geckodriver/tags

Edge驱动程序下载地址：https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/

IE驱动程序下载地址：https://www.selenium.dev/downloads/

Safari驱动程序下载地址：内置

Opera 驱动程序：不支持 w3c 语法，建议使用 chromedriver 与 Opera 一起工作。

查看自己机器浏览器的版本
在这里插入图片描述
在这里插入图片描述

下载WebDriver的版本
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
下载相对应的软件程序或者相近的软件程序。

将下载好的软件程序解压，并放在python的安装目录，也就是Python_HOME/下，我机器的安装目录是：

$ pwd
/usr/local/Cellar/python@3.10/3.10.1

$ open .

在这里插入图片描述

2 使用WebDriver驱动程序

2.1 驱动管理软件

# 导入WebDriver 管理器
from webdriver_manager.chrome import ChromeDriverManager
# 获取管理器使用的位置并将其传递给服务类
service = Service(executable_path=ChromeDriverManager().install())
# 初始化驱动时使用Service实例
driver = webdriver.Chrome(service=service)

完整的示例请参考：GitHub示例

2.2 加入到环境变量

首先手工下载，然后将路径放在机器环境变量：echo 'export PATH=$PATH:[WebDriver_HOME]' >> ~/.bash_profile，其中【WebDriver_HOME】是路径地址，如下：

$ echo 'export PATH=$PATH:/usr/local/Cellar/python@3.10/3.10.1' >> ~/.bash_profile

$ source ~/.bash_profile

$ chromedriver
Starting ChromeDriver 103.0.5060.134 (8ec6fce403b3feb0869b0732eda8bd95011d333c-refs/branch-heads/5060@{#1262}) on port 9515
Only local connections are allowed.
Please see https://chromedriver.chromium.org/security-considerations for suggestions on keeping ChromeDriver safe.
ChromeDriver was started successfully.

2.3 在Python中直接引用

这里其实也是手工下载，然后在编码中直接使用。其中【WebDriver_HOME】 同 步骤2.2中的一致。

from selenium.webdriver.chrome.service import Service
from selenium import webdriver

service = Service(executable_path="【WebDriver_HOME】")
driver = webdriver.Chrome(service=service)

2.4 打开谷歌（Chrome）浏览器

  • 界面模式（Chrome）浏览器
from selenium import webdriver

# 浏览器的初始化
browser = webdriver.Chrome()
# 发送请求
browser.get('https://www.baidu.com/')

# 打印页面的标题
print(browser.title)

# 退出模拟浏览器
browser.quit()  # 一定要退出！不退出会有残留进程

在执行browser = webdriver.Chrome()时比较慢，后续就比较快些。我使用这个打开火狐浏览器出现了错误。

  • 无界面模式（Chrome）浏览器
from selenium import webdriver
# 1. 实例化配置对象
chrome_options = webdriver.ChromeOptions()
# 2. 配置对象添加开启无界面命令
chrome_options.add_argument('--headless')
# 3. 配置对象添加禁用gpu命令
chrome_options.add_argument('--disable-gpu')
# 4. 实例化带有配置对象的browser 对象
browser = webdriver.Chrome(chrome_options=chrome_options)
browser.get('https://www.baidu.com/')
# 查看请求的数据
print(browser.page_source)  # 查看渲染后的数据，就可以Xpath进行解析获取数据了
print(browser.get_cookies())  # 查看请求页面后的cookies值
print(browser.current_url)  # 查看请求url
# 关闭页面
browser.close()
# 关闭浏览器
browser.quit()

2.5 元素定位

2.6 元素操作

2.7 前进/后退

2.8 执行js脚本

2.9 页面等待

  • 页面显示等待（常用模式）

  • 页面隐式等待

3 进阶操作

3.1 使用代理IP

3.2 修改请求头

3.3 隐藏指纹特征

六月暴雪飞梨花
关注
  • 21
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 23
    评论
专栏目录
python selenium自动化操作网页示例源码：百度自动搜索
12-22
安装selenium包，安装Chrome浏览器，安装chromedriver Mac下相关安装： pip install selenium 使用selenium打开一个空的浏览器窗口： from selenium import webdriver driver = webdriver.Chrome() 报错’chromedriver’ executable needs to be in PATH 解决方法一：直接下载chromedriver并添加路径 1.下载chromedriver，查看chrome浏览器版本为62 下载地址：http://npm.taobao.org/mirrors/chr
如何使用Python自动化测试工具Selenium进行网页自动化？
m0_70618214的博客
04-07 2385
Selenium是一个流行的Web自动化测试框架，它支持多种编程语言和浏览器，并提供了丰富的API和工具来模拟用户在浏览器中的行为。Selenium可以通过代码驱动浏览器自动化测试流程，包括页面导航、元素查找、数据填充、点击操作等。 与PyAutoGUI和AutoIt相比，Selenium更适合于处理Web界面上的自动化操作。 它可以轻松地测试像网页表单、AJAX异步请求、JavaScript交互等功能。Selenium有一个活跃的社区，确保持续的开发和更新，也有许多用例和最佳实践可供借鉴。
关于Python的Selenium框架全解，一篇完整的说明书，帮你快速拿Offer
最新发布
m0_60635321的博客
03-22 914
driver = webdriver.Firefox() # Firefox浏览器。
python爬虫无头浏览器技术selenium 自动抢piao源代码
11-24
python爬虫无头浏览器技术selenium 自动抢piao， 源代码+注释讲解功能点， 123某6抢piao， 无头浏览器技术， selenium
Python爬虫，selenium自动化测试，京东自动登录
05-03
这是一个使用Python编写的自动化脚本，以模拟用户在京东网站上进行秒杀商品的操作。其中主要涉及到了selenium webdriver、requests和PIL等第三方库。 首先，程序会启动Chrome浏览器，并通过登录京东账号的方式获取到用户的授权，然后使用验证码识别技术完成滑块验证过程。 接着，程序会让用户输入需要查找的商品名称并跳转到相应的商品列表页面，在给定的时间内停留等待，最终实现秒杀商品的目标。 值得注意的是，由于该程序存在可能侵犯京东网站规则的风险，请谨慎使用。
python自动化selenium爬虫boss直聘城市招聘数据源码
07-08
本人亲自原创制作python自动化selenium爬虫boss直聘源各个城市招聘数据源码，基于Selenium和谷歌浏览器，旨在帮助爬虫招聘数据。 使用Selenium和谷歌浏览器的方式，使得你的爬虫能够模拟人类的操作行为，实现更高效、精准的数据爬取。这个自动化爬虫项目非常稳定，并且能够很好地应对网站的反爬机制。 关键功能和特点如下： 1. 自动化浏览器操作：通过Selenium和谷歌浏览器，你的爬虫可以实现自动打开网页、点击按钮、填写表单等操作，模拟人类用户在网站上的行为。 2. 自动访功能：借助Selenium，自动访问Boss直聘网站，进一步提高数据获取的数量和质量。 3. 代理池IP：为了应对反爬机制，该项目集成了代理池IP技术，确保每次请求使用不同的IP地址。这样做既提高了匿名性，也减少了被封禁的风险。 4. 乱序分页爬取：利用Selenium的强大功能，你的爬虫可以智能地处理分页查询，实现无序的页数访问操作，并保证数据的完整性。 请注意，该源码仅供学习和只可用于学习交流使用，不可用于商业用途等非法用途
trio-websocket:适用于Python Trio的WebSocket客户端和服务器实现
05-14
三重WebSocket 该库实现服务器和客户端方面，力求安全性，正确性和人体工程学。 它基于，该是状态机，实现了大多数WebSocket协议，包括成帧，编解码器和事件。 该库使用处理I / O。 该库通过了。 本自述文件包含对该项目的简要介绍。 完整文档。 备择方案 如果您碰巧只需要一台服务器，则可以通过扩展名使用Quart。 尽管trio-websocket更加灵活，但Quart在单个框架中涵盖了HTTP和WebSocket，并且可以从同一端口直接提供服务。 尚未进行性能比较。 安装 该库需要Python 3.5或更高版本。 要从PyPI安装： pip install trio-websocket 客户实例 此示例演示如何打开WebSocket URL： import trio from sys import stderr from trio_websocket import
selenium自动化测试入门 —— 操作浏览器！
11-03 2012
selenium自动化测试入门 —— 操作浏览器！速来学习
selenium环境搭建，浏览器驱动下载教程，超详细！
colala6688的博客
09-04 7173
web自动化测试，推荐使用谷歌浏览器。如果用的是其他浏览器，就下载对应浏览器的驱动，与下载谷歌浏览器驱动的方法类似。
在mac 配置Chrome driver
wdy_1004的博客
10-11 4120
在mac电脑上安装Google浏览器的自动化驱动chromedriver遇到的一些问
Python 自动化办公-玩转浏览器
weixin_58753619的博客
05-05 870
日常工作中，我们不可能避免得使用浏览器来完成一些工作，Python 也有不少浏览器自动化的工具，我用过 selenium、splinter、playwright，最终还是选择了微软的 playwright，之所以选择它，是因为它可以自动安装浏览器，不需要手动下载浏览器的驱动程序，比如 chromedriver，这样写出来的自动化工具很容易移植到其他系统中运行。 Playwright 可通过单个 API 自动执行 Chromium，Firefox 和 WebKit浏览器，支持无头浏览器（headless），L
python爬虫技术selenium框架知识梳理(web自动化框架)
02-25
`Selenium`是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同是Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器）。 `Selenium `可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。
web调用exe_Web 端的测试 Selenium 用法必备
weixin_39575565的博客
11-23 280
引言：大家都知道，基于Web端的测试的基础框架是需要Selenium做主要支撑的，这里边给大家介绍下Web测试核心之基于 Python 的 Selenium一、简单介绍Selenium 是用于测试 Web 应用程序用户界面 (UI) 的常用框架。它是一款用于运行端到端功能测试的超强工具。您可以使用多个编程语言编写测试，并且 Selenium 能够在一个或多个浏览器中执行这些测试。二、环境安装安装 ...
Python3+Selenium2完整的自动化测试实现之旅（二）：IE和Chrome浏览器驱动配置
GDYY3721的博客
06-07 1722
如果你正在进行自动化测试，那么你一定知道浏览器驱动是必不可少的。但是，不同的浏览器驱动配置可能会让你感到头疼。 在我前一篇文章中，我们已经学习了如何搭建自动化测试环境。今天，我将为大家分享如何配置IE和Chrome浏览器驱动，让你的自动化测试更加顺畅。 如果你正在寻找优秀的自动化测试方案，本文绝对不能错过！我可以简单明了的告诉你，这篇文章肯定能够帮助你更好地完成自动化测试任务。
07.Python浏览器自动化模块selenium简介
qq_40837794的博客
11-18 511
一.selenium简介 Selenium是一个用于测试网站的自动化测试工具，支持各种浏览器包括Chrome、Firefox、Safari等主流界面浏览器，同时也支持phantomJS无界面浏览器。 二.selenuum的使用 1.安装 pip install selenium 2.下载浏览器驱动程序 chrome浏览器驱动程序 Firefox浏览器 找到自己的浏览器版本下载驱动程序 3.浏览器自动播放咪咕音乐周杰伦歌曲列表第二首歌曲 from selenium import webdriver imp
python制作websocket服务器实例分享​​​​​​​
jiahaowanhao的博客
08-10 521
python制作websocket服务器实例分享 一、开始的话 使用python简单的实现websocket服务器，可以在浏览器上实时显示远程服务器的日志信息。 之前做了一个web版的发布系统，但没实现在线看日志，每次发布版本后，都需要登录到服务器上查看日志，非常麻烦，为了偷懒，能在页面点几下按钮完成工作，这几天查找了这方面的资料，实现了这个功能，瞬间觉的看日志什么的，太方便了，以后也可以给...
Win10 python环境测试selenium加IE浏览器自动化-踩坑实录
cdl3的博客
11-16 1328
get方法始终不返回
Python selenium配置Edge
热门推荐
方脩的博客
01-12 1万+
Python使用selenium配置Edge
python3+robotframework+selenium3 浏览器兼容性测试
玄链教育
02-14 580
robot framework 测试浏览器兼容性 目前ride已支持一下浏览器： firefox ie chrome safari 本次我们已win 10中的ie为例，来看看如何使用python3+robotframework+selenium3来进行浏览器兼容性测试 上图中黄色圈的地方默认什么都不写，是firefox浏览器，写上ie就是ie浏览器了 按F8运行，报错，错误截图如下： 默认是firefox最新版本浏览器，改成ie后，需要下载ie的驱动IEDriverServer.exe Internet
python爬虫selenium爬取
06-28
### 回答1： Python爬虫中可以使用Selenium库来爬取网页信息。Selenium可以模拟浏览器行为，能够爬取JavaScript渲染后的网页信息。使用Selenium爬取网页时，需要配合浏览器驱动（如ChromeDriver、FirefoxDriver）使用。 ### 回答2： Python是一种高级编程语言，吸引了大量编程人员和开发者使用Python进行Web开发、数据分析、机器学习和人工智能等领域的开发。爬虫技术正是其中的一项重要技术，用python编写爬虫程序通常更加便捷和灵活。而selenium是Python中主要的爬虫库之一，用于爬取动态Web页面，可以模拟用户在浏览器中的行为，从而获取大量数据。 使用selenium爬取信息可以分为以下几个步骤： 1.安装和导入selenium和webdriver： 首先需要安装适合的版本的selenium包，并导入selenium和webdriver模块： ```python from selenium import webdriver ``` 2.配置浏览器驱动： Selenium需要浏览器驱动（如Chrome，Firefox等）来与其进行交互，需要配置如下： ```python driver = webdriver.Chrome() ``` 其中，Chrome()表示使用Chrome浏览器驱动，如果使用Firefox，则需要改为Firefox()。 3.访问网页： 使用get()函数可以访问指定的网址： ```python driver.get("https://www.baidu.com/") ``` 4.查找元素： 使用selenium的查找元素功能，可以根据元素的ID、name、class、tag等属性进行查找： ```python element = driver.find_element_by_id("kw") # 根据ID查找 element = driver.find_element_by_name("wd") # 根据name查找 element = driver.find_element_by_class_name("s_ipt") # 根据class查找 element = driver.find_element_by_tag_name("input") # 根据tag查找 ``` 5.模拟用户输入/点击： 使用send_keys()函数模拟用户在搜索框中输入关键字，使用click()函数模拟用户在搜索按钮上点击： ```python element.send_keys("Python") element.click() ``` 6.解析数据： 使用webdriver的page_source属性可以获取网页的源代码，然后使用正则表达式或BeautifulSoup库等解析数据。 以上就是使用selenium进行爬虫的主要步骤。实际应用中，需要根据不同的网站和需要爬取的数据进行具体的配置和调整。在使用selenium过程中，需要了解一些常见的使用技巧和注意事项，例如模拟等待时间，处理弹窗、验证码等。同时，也需要遵循爬虫的法律和道德规范，不得进行非法、滥用等行为。 ### 回答3： selenium是一种自动化测试工具，它可以模拟浏览器行为，实现自动化操作。在Python爬虫中，selenium也可以用来爬取需要模拟人工操作的网站数据。 使用selenium可以实现以下操作： 1.自动模拟浏览器打开网页，获取网页源码。 2.模拟用户操作，如点击按钮、填写文本框、下拉选择框等。 3.通过获取网页源码进行数据解析。 基本流程比较简单，首先需要准备好selenium的环境，这需要下载对应的webdriver，这里我使用Chrome浏览器，并且下载了对应版本的chromedriver。 然后通过selenium启动浏览器，在浏览器中进行模拟操作，最后获取网页源码进行数据解析。 具体实现可以参考以下代码： ```python from selenium import webdriver from bs4 import BeautifulSoup # 创建一个Chrome浏览器实例 browser = webdriver.Chrome() # 访问目标网页 browser.get('https://www.example.com') # 模拟点击按钮，等待加载完成 button = browser.find_element_by_xpath('//button[@class="btn"]') button.click() browser.implicitly_wait(5) # 获取网页源码 html = browser.page_source soup = BeautifulSoup(html, 'html.parser') data = soup.find_all('div', class_='data') # 处理数据 for item in data: # do something # 关闭浏览器 browser.quit() ``` 总体来说，selenium是一个强大的爬虫工具，可以应对大部分需要模拟人工操作的场景，但也存在一些缺点，比如速度慢、占用资源高等。因此在具体应用中需要根据实际情况进行选择。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 23
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

六月暴雪飞梨花

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值