Scrapy+Selenium爬取动态网页：no ‘moz:firefoxOptions.binary‘ capability provided

最新推荐文章于 2024-07-14 22:18:32 发布
最新推荐文章于 2024-07-14 22:18:32 发布
阅读量1k 收藏
点赞数
分类专栏： python 文章标签： python selenium
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bb276983381/article/details/111516873
版权

报错信息：selenium.common.exceptions.SessionNotCreatedException: Message: Expected browser binary location, but unable to find binary in default location, no 'moz:firefoxOptions.binary' capability provided, and no binary flag set on the comma
nd line

1、下载Geckodriver

下载地址：https://github.com/mozilla/geckodriver/releases

将下载下来的GeckoDriver.exe放入python安装路径下的Scripts文件夹内

2、安装FireFox浏览器

3、python代码：

最低0.47元/天 解锁文章
kak夕
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Scrapy+Selenium爬取动态渲染网站
所谓向日葵族
07-18 8889
目录 1.简介 2.安装 Selenium 3.安装驱动 3.1 Chrome 3.2 Firefox 3.3 其它浏览器驱动下载 4.Selenium使用 4.1 Chrome 配置 4.2 Firefox 配置 4.3 不显示打开浏览器的界面 4.4 禁用浏览器弹窗 4.5 driver属性和方法 1.简介 Selenium是一个用于Web应用程序测试的工具。直接运行在浏...
Selenium出现 Expected browser binary location, but unable to find binary in default location 错误的解决方法
cz_布衣的博客
11-03 4534
已经有了geckodriver.exe，但selenium出现以下错误，是因为系统中没有安装firefox： selenium.common.exceptions.SessionNotCreatedException: Message: Expected browser binary location, but unable to find binary in default location, no ‘moz:firefoxOptions.binary’ capability provided, and
bug宝典Python篇 no 'moz:firefoxOptions.binary' capability provided
warrah 南极狼
06-28 3521
from selenium import webdriver driver = webdriver.Firefox() driver.get('https://www.baidu.com')简单的三句话，却启动不了firefox，还提示下面的错误Traceback (most recent call last): File "F:\pythonwork\craw_demo\six\firefox
selenium.common.exceptions.WebDriverException: Message: Expected browser binary location
qq_32334103的博客
08-21 566
selenium.common.exceptions.WebDriverException
selenium的firefox自动化时使用存在的问题
qq_41353537的博客
05-25 450
selenium调用火狐游览器存在哪些问题
selenium+python 报错：Expected browser binary location, but unable to find binary in default location……
beauty_m的学习笔记
04-30 1万+
报错：selenium.common.exceptions.WebDriverException: Message: Expected browser binary location, but unable to find binary in default location, no 'moz:firefoxOptions.binary' capability provided, and n...
selenium python 报错“ unable to find binary in default location”
weixin_30265103的博客
04-06 745
selenium python 报错如下； raise exception_class(message, screen, stacktrace)selenium.common.exceptions.WebDriverException: Message: Expected browser binary location, but unable to find binary in def...
jianshu-crawl:Scrapy + selenium爬取简书全站
04-01
Scrapy + selenium爬取简书全站 环境 Ubuntu 18.04 Python 3.8 Scrapy 2.1 爬取内容 文字标题 作者 作者头像 发布日期 内容 文章连接 文章ID 思路 分析简书文章的url规则 使用selenium请求页面 使用xpath获取需要...
Python爬虫实战 | (21) Scrapy+Selenium爬取新浪滚动新闻-附件资源
03-02
Python爬虫实战 | (21) Scrapy+Selenium爬取新浪滚动新闻-附件资源
scrapy+selenium之中国裁判文书网文书爬取
12-23
爬取框架：scrapy框架 + selenium模拟浏览器访问 开始想暴力分析网页结构获取数据，哈哈哈哈哈，天真了。看来自己什么水平还真不知道。 之后锁定pyspider框架，搞了四五天。该框架对于页面超链接的连续访问问题，...
scrapy结合selenium解析动态页面的实现
12-16
虽然scrapy能够完美且快速的抓取静态页面，但是在现实中，目前绝大多数网站的页面都是动态页面，动态页面中的部分内容是浏览器运行页面中的JavaScript脚本动态生成的，爬取相对困难； 比如你信心满满的写好了一个...
selenium安装及启动firefox的常见问题解决
weixin_30814319的博客
07-06 2272
安装： pip install selenium==2.48.0 安装指定的2.48.0版本，win10这里命令提示符需要以管理员身份运行，不然安装不了 pip install selenium 安装最新版本 卸载 ： pip uninstall selenium 查看版本号： pip show selenium 如果执行 browser = webdriver.Fire...
selenium3打开chrome浏览器,firefox
weixin_30429201的博客
03-10 149
import os from selenium import webdriver chromedriver = "C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe" os.environ["webdriver.chrome.driver"] = chromedriver driver = webdri...
Selenium3自动化测试【6】浏览器driver的安装（FireFox）
探索之家
10-26 2383
Selenium支持各种浏览器，读者可以在不同的浏览器中开展自动化测试。它支持的浏览器包括IE、FireFox、Chrome、Opera、Safari等。本讲就围绕常用的FireFox、Chrome与Selenium的结合进行讲解。 由于Selenium3.0调用FireFox48（含48）以上的版本，需要先安装浏览器的驱动driver，因此小节讲解下浏览器驱动driver的安装。 FireFox浏览器 geckodriver部署 下载FireFox的driver（geckodriver.exe）。Fire
Python3+selenium配置常见报错解决方案
qq_44709459的博客
09-10 1754
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 第一个坑：‘geckodriver’ executable needs to be in PATH 1.如果启动浏览器过程中
python3 selenium ie 拒绝连接报错_Python3+selenium配置常见报错解决方案
weixin_33066433的博客
12-23 886
第一个坑：'geckodriver' executable needs to be in PATH1.如果启动浏览器过程中报如下错误Traceback (most recent call last):File "", line 1, in File "D:\test\python3\lib\site-packages\selenium\webdriver\firefox\webdriver.py"...
selenium打开火狐浏览器失败解决办法
热门推荐
wangwanhui619的博客
11-30 1万+
selenium可以去到Firefox，ie,Chrome浏览器，其中ie和chrome需要安装相应浏览器的driver,  启动火狐时报错 raise exception_class(message, screen, stacktrace) selenium.common.exceptions.WebDriverException: Message: Expected browser bi
《JavaSE》---6.＜基础语法（Java三大程序控制结构）＞
最新发布
m0_73456341的博客
07-14 825
本篇博客主要讲解Java基础语法中的三大结构，一种顺序结构、两大分支结构i（if-else、swich-case）、四大循环结构（while、do while、fot、foreach）
scrapy+selenium爬取网页动态加载数据实例讲解
07-12
当使用 Scrapy 和 Selenium 结合进行网页动态加载数据的爬取时，可以按照以下步骤进行操作： 1. 安装所需库：确保已安装 Scrapy 和 Selenium 库。可以使用以下命令进行安装： ``` pip install scrapy pip install selenium ``` 2. 创建 Scrapy 项目：使用以下命令创建一个新的 Scrapy 项目： ``` scrapy startproject dynamic_scraping ``` 3. 创建 Spider：进入项目目录，并使用以下命令创建一个新的 Spider： ``` cd dynamic_scraping scrapy genspider example example.com ``` 这将在 `spiders` 目录下创建一个名为 `example.py` 的 Spider。 4. 配置 Spider：打开 `example.py` 文件，并按照以下示例进行配置： ```python import scrapy from scrapy_selenium import SeleniumRequest from scrapy.selector import Selector class ExampleSpider(scrapy.Spider): name = 'example' allowed_domains = ['example.com'] def start_requests(self): yield SeleniumRequest( url='https://example.com', callback=self.parse ) def parse(self, response): sel = Selector(response) # 在这里使用 XPath 或 CSS 选择器提取动态加载的数据 # 示例：提取标题 title = sel.xpath('//h1/text()').get() print(title) ``` 在上面的示例中，我们使用了 `SeleniumRequest` 替代了普通的 `scrapy.Request`，这使得 Scrapy 可以使用 Selenium 来处理动态加载的内容。 5. 配置 Selenium：为了使用 Selenium，你需要配置相关的 Web 驱动程序。根据你使用的浏览器，下载并安装相应的驱动程序，并将其添加到系统的 PATH 环境变量中。 6. 运行 Spider：使用以下命令运行 Spider： ``` scrapy crawl example ``` 这将启动爬取过程，并在控制台上打印出提取的动态加载数据。 通过以上步骤，你可以使用 Scrapy 和 Selenium 结合进行爬取动态加载数据的操作。你可以根据实际需求修改 Spider 中的代码来提取所需的数据，并将其保存到文件或数据库中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值