在使用python的selenium库 抓取动态网页时,浏览器内容出现空白的解决方式

转载请标明出处,谢谢~。

我使用的版本:

1、python 3.7 (IDE 用的 pycharm)
2、selenium(通过pip install 安装的最新版本:3.14 时间:2018.9.6 )
3、 geckodriver.exe 21.0
4、firefox 浏览器最新版本(62.0 时间:2018.9.6 )

问题:
向Path添加了位于python37\scripts\的geckodriver 以及 向Path添加了firefox浏览器的安装路径后,运行以下测试代码:

from selenium import webdriver
from selenium.webdriver.firefox.firefox_binary import FirefoxBinary
caps = webdriver.DesiredCapabilities().FIREFOX
caps["marionette"] = False
binary = FirefoxBinary(r'C:\Program Files (x86)\Mozilla Firefox\firefox.exe')
driver = webd
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用PythonSelenium可以实现对动态网页抓取。首先,确保您已经安装了Python 3.5和Selenium。如果没有安装,您可以通过使用pip命令来安装Selenium:pip3 install selenium。 接下来,您需要下载并配置PhantomJS。PhantomJS是一个无界面浏览器,可以用于模拟用户与网页的交互。您可以从官方网站下载PhantomJS,并将其解压到Python的Scripts目录下。 接下来,您可以使用以下代码来实现动态网页抓取: ```python from selenium import webdriver # 创建PhantomJS浏览器对象 driver = webdriver.PhantomJS() # 打开网页 driver.get('http://example.com') # 执行一些操作,例如点击按钮或滚动页面 # 获取页面内容 content = driver.page_source # 关闭浏览器 driver.quit() # 处理页面内容,提取所需信息 # ... ``` 在这个例子中,我们首先创建了一个PhantomJS浏览器对象,然后使用`get()`方法打开了一个网页。您可以在此之后执行一些其他操作,例如点击按钮或滚动页面。 最后,使用`page_source`属性获取页面内容,然后可以根据需要处理页面内容并提取所需信息。 请注意,Selenium还支持其他浏览器,如Chrome和Firefox。您可以根据自己的需要选择使用哪个浏览器。 希望这个回答能够帮助到您。请随提问,如果您有任何进一步的疑问。<span class="em">1</span><span class="em">2</span><span class="em">3</span><span class="em">4</span>
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值