Python之Selenium如何正确运用？案例详解（建议收藏）

最新推荐文章于 2023-08-05 16:13:43 发布
最新推荐文章于 2023-08-05 16:13:43 发布
阅读量411 收藏 1
点赞数
分类专栏： Python selenium 文章标签： python selenium 编程语言 java 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ITjianshuzhai/article/details/106443895
版权

 

 

Selenium是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作，同时还可以获取浏览器当前呈现的页面的源代码，做到可见即可爬。对于一些JavaScript动态渲染的页面来说，此种抓取方式非常有效。本节中，就让我们来感受一下它的强大之处吧。

1. 准备工作

本节以Chrome为例来讲解Selenium的用法。在开始之前，请确保已经正确安装好了Chrome浏览器并配置好了ChromeDriver。另外，还需要正确安装好Python的Selenium库，详细的安装和配置过程可以参考第1章。

2. 基本使用

准备工作做好之后，首先来大体看一下Selenium有一些怎样的功能。示例如下：

 
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.wait import WebDriverWait browser = webdriver.Chrome() try:     browser.get('https://www.baidu.com')     input = browser.find_element_by_id('kw')     input.send_keys('Python')     input.send_keys(Keys.ENTER)     wait = WebDriverWait(browser, 10)     wait.until(EC.presence_of_element_located((By.ID, 'content_left')))     print(browser.current_url)     print(browser.get_cookies())     print(browser.page_source) finally:

browser.close()另外注意：光理论是不够的。这里顺便送大家一套2020最新PYTHON网络爬虫从入门到实践、Python开发技术详解，《Python爬虫开发与项目实战》等学习资料，需要的小伙伴，私信“学习”即可获得！

 

 

个Chrome浏览器。浏览器首先会跳转到百度，然后在搜索框中输入Python，接着跳转到搜索结果页，如图7-1所示。

 

图7-1 运行结果

搜索结果加载出来后，控制台分别会输出当前的URL、当前的Cookies和网页源代码：

 
https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=0&rsv_idx=1&tn=baidu&wd=Python&rsv_pq=c94d0df9000a72d0&rsv_t=  07099xvun1ZmC0bf6eQvygJ43IUTTUOl5FCJVPgwG2YREs70GplJjH2F%2BCQ&rqlang=cn&rsv_enter=1&rsv_sug3=6&rsv_sug2= 0&inputT=87&rsv_sug4=87 [{'secure': False, 'value': 'B490B5EBF6F3CD402E515D22BCDA1598', 'domain': '.baidu.com', 'path': '/', 'httpOnly':  False, 'name': 'BDORZ', 'expiry': 1491688071.707553}, {'secure': False, 'value': '22473_1441_21084_17001',  'domain': '.baidu.com', 'path': '/', 'httpOnly': False, 'name': 'H_PS_PSSID'}, {'secure': False, 'value':  '12883875381399993259_00_0_I_R_2_0303_C02F_N_I_I_0', 'domain': '.www.baidu.com', 'path': '/', 'httpOnly': False,  'name': '__bsi', 'expiry': 1491601676.69722}] <!DOCTYPE html><!--STATUS OK-->...</html>

源代码过长，在此省略。可以看到，我们得到的当前URL、Cookies和源代码都是浏览器中的真实内容。

所以说，如果用Selenium来驱动浏览器加载网页的话，就可以直接拿到JavaScript渲染的结果了，不用担心使用的是什么加密系统。

下面来详细了解一下Selenium的用法。

3. 声明浏览器对象

Selenium支持非常多的浏览器，如Chrome、Firefox、Edge等，还有Android、BlackBerry等手机端的浏览器。另外，也支持无界面浏览器PhantomJS。

此外，我们可以用如下方式初始化：

 

 
from selenium import webdriver browser = webdriver.Chrome() browser = webdriver.Firefox() browser = webdriver.Edge() browser = webdriver.PhantomJS() browser = webdriver.Safari()

这样就完成了浏览器对象的初始化并将其赋值为browser对象。接下来，我们要做的就是调用browser对象，让其执行各个动作以模拟浏览器操作。

4. 访问页面

我们可以用get()方法来请求网页，参数传入链接URL即可。比如，这里用get()方法访问淘宝，然后打印出源代码，代码如下：

 
from selenium import webdriver browser = webdriver.Chrome() browser.get('https://www.taobao.com') print(browser.page_source) browser.close()

运行后发现，弹出了Chrome浏览器并且自动访问了淘宝，然后控制台输出了淘宝页面的源代码，随后浏览器关闭。

通过这几行简单的代码，我们可以实现浏览器的驱动并获取网页源码，非常便捷。

5. 查找节点

Selenium可以驱动浏览器完成各种操作，比如填充表单、模拟点击等。比如，我们想要完成向某个输入框输入文字的操作，总需要知道这个输入框在哪里吧？而Selenium提供了一系列查找节点的方法，我们可以用这些方法来获取想要的节点，以便下一步执行一些动作或者提取信息。

单个节点

比如，想要从淘宝页面中提取搜索框这个节点，首先要观察它的源代码，如图7-2所示。

 

图7-2 源代码

可以发现，它的id是q，name也是q。此外，还有许多其他属性，此时我们就可以用多种方式获取它了。比如，find_e

最低0.47元/天 解锁文章
IT茶馆技术斋
关注
专栏目录
Python爬虫第九天，Selenium详解
qq_40709303的博客
09-26 477
Selenium 基本使用 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.wait import WebDriverW
selenium的几个简单应用和实例一
siyuchen的博客
02-02 1万+
from selenium import webdriver options = webdriver.ChromeOptions() options.add_argument('--headless') options.add_argument('--disable-gpu') driver = webdriver.Chrome(chrome_options=options) driver.g
Selenium简介及使用案例
weixin_42687829的博客
09-10 3586
本文目录一、Selenium简介一级目录二级目录三级目录 一、Selenium简介 Selenium是一个用于Web应用程序自动化测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7、8、9、10、11），Mozilla Firefox，Safari，Google Chrome，Opera等。 这个工具的主要功能包括：测试与浏览器的兼容性——测试你的应用程序是否能够很好的工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持
Selenium入门详细教程+实例演示
最新发布
zhaolk的博客
08-05 1万+
详细介绍了selenium的概念，环境搭建以及具体的详细示例和用法，对于每一个重点场景做出了对应的自动化代码测试
python selenium怎么安装_Python安装基础+selenium
weixin_42316079的博客
02-03 524
1.python 的安装，这个不解释，exe 文件运行安装即可2.setuptools 的安装也非常简单，同样是exe 文件，默认会找到python 的安装路径，将安装到C:\Python33\Lib\site-packages 目录下3.安装pip ，默认解压在了C:\pip-1.3.1 目录下4.打开命令提示符(开始---cmd 回车)进入C:\pip-1.3.1目录下输入：C:\pip-...
selenium2+Python--学习进阶路线图
A_Kaka的博客
07-08 318
selenium2+python 自动化测试知识储备： 　　1. Python:脚本编程基础。 　　2. Selenium2 API：不要用录制的工具，直接看API文档。 　　3.html: html学的越好自动化测试定位元素越快。 　　4.Xpath: xpath定位基本上可以解决80%的元素定位问题 　　5.CSS: 用于元素定位。 　　6.js:很多场景是selenium无法完成的，比如浏览器的滚动条，这时候需要用到js. 　　7.Jenkins：当用例写的...
selenium用法（最新版）
SwitchD的博客
04-08 1万+
一、什么是selenium 二、selenuim原理 1.selenuim1.0版本 2.selenuim 2.0 版本 三、webdriver常用的API 1.元素的定位 2.操作测试对象 3.添加等待 4.打印信息 5.浏览器的操作 6.键盘事件 7.鼠标事件 8.定位一组元素 9.多层框架/窗口定位 10.层级定位 11.下拉框处理 12.alert的处理 13.DIV对话框的处理 14.上传文件操作
详解mac python+selenium+Chrome 简单案例
09-18
在本文中，我们将深入探讨如何在Mac操作系统上使用Python结合Selenium库与Chrome浏览器进行自动化测试。Selenium是一个强大的Web应用程序测试框架，它允许我们通过编程方式模拟用户交互，如点击按钮、输入文本等。在...
Python +Selenium解决图片验证码登录或注册问题(推荐)
09-18
本文将详细介绍如何使用 Python 结合 Selenium 和第三方 OCR 服务来自动处理这类问题，并提供实际应用案例。 #### 二、解决思路 ##### 2.1 获取验证码图片 通常情况下，网站中的验证码图片不是直接通过 URL 提供...
python之selenium-web自动化＜一＞
小木可的博客
01-12 1万+
一、基本操作 a. from selenium import webdriver # 启动浏览器 driver = webdriver.Chrome(service_log_path='C:\\Users\\joinkwang\\test\\test_project\\common\\chormelog.log') # 访问一个网页 driver.get("http://devci01:8080/login?from=%2F") # 退出访问或者会话 杀掉进程 不占用资源 driver.quit()
Python使用Selenium WebDriver的入门介绍及安装教程
热门推荐
hubing_hust的专栏
12-13 5万+
WebDriver 以本地化方式驱动浏览器，就像用户在本地或使用 Selenium 服务器的远程机器上所做的那样，这标志着浏览器自动化的飞跃。Selenium WebDriver 指的是语言绑定和各个浏览器控制代码的实现。这通常被称为 WebDriver。Selenium WebDriver 是 W3C 推荐标准。WebDriver 被设计成一个简单和简洁的编程接口。WebDriver 是一个简洁的面向对象 API。它能有效地驱动浏览器。本文绝大部分内容，都可以从以下官方文档中找到。
python中webdriver_Python Selenium Webdriver常用方法总结
weixin_33331559的博客
02-09 293
#coding=utf-8from selenium importwebdriverfrom selenium.webdriver.common.by importByfrom selenium.webdriver.support.ui importWebDriverWaitfrom selenium.webdriver.support importexpected_conditions as E...
selenium中selenium.webdriver.common.by之By的用法
白清羽的博客
08-01 2万+
#从selenium.webdriver.common.by 导入By包进行元素定位 from selenium.webdriver.common.by import By By是selenium中内置的一个class，在这个class中有各种方法来定位元素 By所支持的定位器的分类： CLASS_NAME = 'class name' CSS_SELECTOR = 'css sele...
python用selenium库_Python爬虫之Selenium库的基本使用
weixin_39866817的博客
11-28 235
#基本使用from selenium importwebdriverfrom selenium.webdriver.common.by importByfrom selenium.webdriver.common.keys importKeysfrom selenium.webdriver.support importexpected_conditions as ECfrom selenium.w...
【python实现网络爬虫（17）】使用正则表达式爬取百度以任意关键词搜索返回结果的数据
lys_828的博客
04-28 6218
正则表达式爬取百度搜索结果1. 爬虫架构2. 创建分页url2.1 网页url规律查找2.2 创建接口输出url测试3 正则表达式匹配3.1 直接匹配源代码3.2 配合网页解析进行结果匹配4. 小结5. 全部代码5.1 re + 源代码5.2 bs4 + re 1. 爬虫架构 为了减少不必要的步骤，直接加载一下爬虫的基础架构，如下。注意，一定要填写自己的headers的内容 import re ...
python怎样读取网页中的文本_Python Selenium 获取页面所有文本内容
weixin_39849930的博客
11-25 2848
分享知识 传递快乐用 Selenium 爬虫获取网页上显示的文本，首先安装 lxml 模块：pip install lxml代码：driver = webdriver.Chrome()driver.maximize_window()driver.get("url")# 获取页面源代码html_source = driver.page_source# 重点html = lxml.html.from...
Python(9):利用selenium操作网页并抓取内容
Leo的博客
04-04 4796
因为项目原因，需要获取中国所有铁路线路及车次信息，但是并没有任何网站或文章直接将所有信息整合在一起提供出来，因此只能自己从页面上扒。 这里利用到了python的selenium模块，自动定位操作网页，然后通过其他方式获取页面信息，以达到数据搜索整合的目的。 我使用的是pycharm工具作为环境运行代码的，直接在setting中安装就可以，各位也可以用pip命令安装，很方便，这里不赘述 安装过...
利用selenium提取网页数据
u010805109的博客
08-11 3571
1.driver对象的常用属性和方法 在使用selenium过程中，实例化driver对象后，driver对象有一些常用的属性和方法 1.driver.page_source 当前标签页浏览器渲染之后的网页源代码 2.driver.current_url 当前标签页的url 3.driver.close() 关闭当前标签页，如果只有一个标签页则关闭整个浏览器 4.driver.quit() 关闭浏...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值