phantomjs


PhantomJS无界面浏览器


selenium+phantoms 是爬虫的终极解决方案
一些数据包含在js里面,就可以通过这个来爬取

配置环境变量,见此博客
https://blog.csdn.net/qq_42543312/article/details/81569125

from selenium  import webdriver
import time
path = r'D:\爬虫\PhantomJS\phantomjs-2.1.1-windows\bin\phantomjs.exe'
browser = webdriver.PhantomJS(path)

#打开百度
url = "https://www.baidu.com/"
browser.get(url)
time.sleep(3)
browser.quit()

在这里插入图片描述
原来是这行 webdriver.PhantomJS(path)写错了
改完后发现
在这里插入图片描述

好,查阅资料发现改程序的文件名,发现没卵用。继续,因为Selenium
Python的版本太低了,因为直到selenium版本到2.27.0的时候才提供对PhantomJS的支持。而我电脑上安装的selenium版本是2.7.0
哥们真的是操了,18年12月selenium以及不在支持phantomjs了!!!要想用phantomjs,只能下载老版本的selenium了,可是这样岂不是和webdriver冲突了?然后查阅百度发现,目前基本不用phantomjs了,都是用Chrome无头浏览器!

chrome 无界面浏览器

我们在前面的学习中会发现,PhantomJS已经不被新版本的Selenium弃用了,同时我们前面一直使用的是有界面的浏览器,但是它运行的时候,很影响我们去干其它事情,不用怕,其实chrome和火狐都提供的有无界模式。只需要传入一些参数即可
先简单了解一下

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# 配置chrome的参数
options = Options()
options.add_argument('--headless')
# options.add_argument('--disable-gpu')

# 获取一个浏览器对象
br = webdriver.Chrome(chrome_options=options)
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值