Python selenium+Chromedriver 模块模拟浏览器及相关问题

最新推荐文章于 2023-08-09 22:13:37 发布
最新推荐文章于 2023-08-09 22:13:37 发布
阅读量1.9k 收藏 6
点赞数 2
文章标签： Python selenium Chromedriver 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Clannad_niu/article/details/85100140
版权

0x01 简介

之前写过一篇用python+selenium模块和PhantomJS模拟浏览器进行爬虫爬取的文章，今天又要用到的时候发现selenium模块已经不支持PhantomJS了，使用的时候会报错。要求换用Firefox或者Chrome进行爬取。本文决定采用Chrome浏览器进行实验。

 

0x02 环境搭建

1.selenium模块

python模块通过pip安装即可

python -m pip install selenium

2.Chrome浏览器

要模拟浏览器要求本地需要安装Chrome浏览器，官网下载对应版本即可，本次采用 71.0.3578.98（正式版本） （64 位）

3.chromedriver驱动

要调用Chrome浏览器需要安装Chromedriver驱动，且根据安装的浏览器的版本的不同需要安装不同的驱动版本。版本号对应如下：

chromedriver版本	支持的Chrome版本
v2.32	                v59-61
v2.31	                v58-60
v2.30	                v58-60
v2.29	                v56-58
v2.28	                v55-57
v2.27	                v54-56
v2.26	                v53-55
v2.25	                v53-55
v2.24	                v52-54
v2.23	                v51-53
v2.22	                v49-52
v2.21
最低0.47元/天 解锁文章
Clannad_niu
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
10.Python使用chromedriver加selenium模拟人工对浏览器进行操作
你要明白，任何问题都不是孤立存在的，一定有人曾经遇到过，并且已经有更好的解决办法了，只是我还不知道。我不应该在黑暗中独自前行，去重新发明轮子，也许我的顿悟，只是别人的基本功！我应该要站在巨人的肩膀上，学习更成熟的经验和方法，然后再来解决这个问题
06-18 378
selenium
python使用selenium调用Chrome浏览器webdriver
fen_fen的专栏
02-05 1432
python3.6+Selenium3.141环境： 操作系统：Win10 x64 python 3.6 selenium 3.141chrome驱动下载： http://chromedriver.storage.googleapis.com/index.html http://npm.taobao.org/mirrors/chromedriver/例子： Chrome浏览器：Chrome v79...
Python selenium中出现错误：driver = webdriver.chrome() TypeError: ‘module‘ object is not callable
淡沫初夏zz的博客
10-26 5183
Python selenium中出现错误：driver = webdriver.chrome() TypeError: 'module' object is not callable
使用Python的Selenium进行网络自动化的入门教程
weixin_73136678的博客
01-05 2242
自动化可以被看作是在使用电子机器或机器人来执行任务的过程中去除人力的过程。在这篇文章中，我们将研究网络流程的自动化。让软件机器人在网络上自动执行流程和任务的能力被称为网络自动化。使用网络自动化，我们可以做很多事情，例如。在现代社会中，对执行重复性任务的速度的需求是必须的，这使得自动化成为必要。Selenium是一个框架，用于网络应用程序测试、自动化软件测试和刮擦网络。在python中，Selenium可以被看作是一套帮助开发者与网络互动的库，以实现网络流程的自动化。
selenium的安装与webdriver环境变量问题
qq_61122628的博客
02-05 2504
目录 一、selenium模块的安装 二、webdriver 的安装与环境问题 1）查看自己的版本号： 2 谷歌浏览器的web driver（chromedriver.exe） 3）webdriver 测试环境变量是否添加成功 4）自己给webdriver路径 学习记录： 参考链接：【selenium】webdriver的安装配置（附：可能最全的下载地址）_Alisen39的博客-CSDN博客_webdriver安装配置 一、selenium模块的安装 在pycharm中：可以在设置选.
使用selenium，但chrome无法启动，需要安装浏览器对应版本（最新）的chromedriver
qq_52867389的博客
08-09 9343
复制chromedriver.exe到chrome的安装目录下。但是国内的镜像网找不到，只更新到114版本。查询了浏览器版本：117.0.5927。需要安装驱动，点击了最下面的网址。解压到python.exe目录下。如图为有效信息，浏览器版本为。找到对应版本，点击下载即可。
Python webdriver.Chrome()的使用
weixin_37391237的博客
12-11 1万+
python 打开浏览器
python自动化测试——Selenium+webdriver
每天学习一点点，成长一小步
06-16 1295
在使用selenium模块操作浏览器时，出现下面的错误提示：selenium.common.exceptions.WebDriverException: Message: ‘chromedriver’ executable needs to be in PATH. Please see https://sites.google.com/a/chromium.org/chromedriver/home
使用Selenium+Chromedriver模拟浏览器行为获取数据
咸鱼老潘的编码生活
12-12 999
关于Ajax的响应结果的获取 ## 我这里用的方法是Selenium+Chromedriver模拟浏览器 Selenium 1. Selenium 1.什么是selenium？ （1）Selenium是一个用于Web应用程序测试的工具。 （2）Selenium 测试直接运行在浏览器中，就像真正的用户在操作一样。 （3）支持通过各种driver（FirfoxDriver，IternetExplorerDriver，ChromeDriver）驱动真实浏览器完成测试。 （4）selenium也是支持
python爬虫学习笔记-2
Exploring2018的博客
11-27 398
python爬虫学习笔记-2
selenium+java如何进行Q三方登录(续坑)
爱吃沙拉的狮子
05-25 1126
总结： 所用到的方法 （1）切换窗口 （2）切换frame （3）id，class个人背景：完全零基础，各方面都有点弱（html,java等）测试环境：chrome+java+selenium测试用例：百度网盘用第三方授权–QQ进行登录 测试步骤: 进入网页（） 点击QQ图标，弹出QQ登录窗口 点击窗口内，左下方的帐号密码登录，出现帐号密码登录框 输入帐号和密码，点击授权并登录以下是QQ快
python浏览器自动化测试_selenium+python自动化测试之使用webdriver操作浏览器的方法...
weixin_42419782的博客
02-10 285
WebDriver简介selenium从2.0开始集成了webdriver的API，提供了更简单，更简洁的编程接口。selenium webdriver的目标是提供一个设计良好的面向对象的API，提供了更好的支持进行web-app测试。从这篇博客开始，将学习使用如何使用python调用webdriver框架对浏览器进行一系列的操作打开浏览器from selenium import webdrive...
selenium+webdriver(chromedriver)安装图文教程
胡祺
10-23 5759
在爬虫过程中，selenium+webdriver组合的方法能有效解决页面动态加载元素难以获取的问题。webdriver是指一个模拟浏览器，常用chromedriver、PhantomJS…但是随着selenium逐渐放弃对PhanthomJS的支持，加入了无头模式的chromedriver变得越来越热门。下面图文介绍一下chromedriver的安装配置方法。
web自动化测试——基于python语言selenium配置谷歌浏览器驱动
weixin_42632271的博客
09-18 2280
一、安装selenium模块 1.pip直接安装 pip install selenium 2.验证 from selenium import webdriver 二、配置谷歌浏览器驱动 selenium模块需要通过浏览器的驱动（Webdriver)才能实现通过代码操纵浏览器页面。 因此，安装selenium模块后，还需要下载对应浏览器的驱动，不同的浏览器需要下载不同的驱动，这里以Chrome即谷歌浏览器为例 1.驱动下载地址 http://npm.taobao.org/mirrors/chromedr
python爬虫Selenium+chrome介绍
m0_37623374的博客
05-14 1332
Selenium相当于一个机器人。可以模拟人类在浏览器上的一些行为。自动处理浏览器上的一些行为，比如点击、填充数据、删除cookie等等这一系列操作。chromedriver是一个驱动chrome浏览器的驱动程序，使用他才可以驱动浏览器。 所以我们要对其进行下载，这里我们把安装程序放在我的下载资源当中。 然后我们先来看一个简单的使用chromedriver访问百度的一个例子。 from selenium import webdriver driver_path=r'安装chromedriver的路径'#可有
python 模拟浏览器selenium_Python+Selenium+ChromeDriver之浏览器爬虫入门
weixin_39799290的博客
11-24 315
爬虫简介应用场景搜索引擎；网站迁移；数据整理、分析、统计；跨域、第三方API调用；还有，嗯钓鱼网站啊；......CURLcurl是利用URL语法在命令行方式下工作的开源文件传输工具。它被广泛应用在Unix、多种Linux发行版中，并且有DOS和Win32、Win64下的移植版本Shell：curl https://www.segmentfault.com传统CURL式爬虫过程模拟浏览器请求-编程...
selenium+python headless访问网页
热门推荐
fuck487的博客
05-25 1万+
最近学python爬虫，发现请求的页面如果是内容是异步加载的，则没办法用BeautifulSoup这些库爬取异步加载的数据。selenium是自动化测试工具，可以调用浏览器加载页面数据（包括异步加载的数据），通过selenium可以很便捷爬取页面所有信息先下载python的selenium库pip install selenium1、selenium+phantomjs（已夭折）官网：http:/...
Selenium_webdriver对 chrome driver的调用
You_are_my_dream的博客
02-21 1万+
今天在使用selenium +webdriver打开chrome，代码如下： from selenium import webdriver driver=webdriver.Chrome() driver.get("www.baidu.com") 运行代码后会出现如下错误： Traceback (most recent call last):   File "", line 1, in
python selenium浏览器初始化
最新发布
09-09
Python Selenium 是一种用于自动化测试的工具，它能够模拟浏览器的操作，对网页进行自动化操作。 在使用 Python Selenium 进行自动化测试时，要先进行浏览器的初始化设置。浏览器初始化是将浏览器与 Selenium 进行连接的过程。下面是一个简单的浏览器初始化代码示例： 首先，我们需要导入 Selenium 的 webdriver 模块： ``` from selenium import webdriver ``` 然后，我们可以选择使用不同的浏览器驱动程序。Selenium 提供了与一些主流浏览器兼容的驱动程序，例如 ChromeDriver、FirefoxDriver、EdgeDriver 等。我们需要将下载好的浏览器驱动程序的路径传递给 webdriver 的构造函数，创建一个浏览器对象： ``` # 初始化 Chrome 浏览器 driver = webdriver.Chromedriver('/path/to/chromedriver') # 初始化 Firefox 浏览器 driver = webdriver.Firefoxdriver('/path/to/geckodriver') # 初始化 Edge 浏览器 driver = webdriver.EdgeDriver('/path/to/msedgedriver') ``` 在上述代码中，`/path/to/chromedriver`、`/path/to/geckodriver`、`/path/to/msedgedriver` 是你本地计算机上浏览器驱动程序的路径。 如果要使用 Chrome 浏览器，还需要根据自己的浏览器版本下载相应的 ChromeDriver，并将路径指定为 `Chromedriver`。同样，如果要使用 Firefox 或 Edge 浏览器，也需要下载相应的驱动程序，并将路径指定为 `Firefoxdriver` 或 `EdgeDriver`。 最后，我们可以使用初始化好的浏览器对象进行后续的操作，例如打开网页、查找元素、模拟点击等。 通过上述步骤，就可以实现 Python Selenium 的浏览器初始化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值