scrapy + selenium + phantom框架流程

scrapy+selenium+phantomjs

 在实际应用中发现splash的解析功能可能并没有那么方便,为了方便自动化的管理选自使用selenium即可。

phantomjs

 PhantomJS是一个基于Webkit的”无界面”(headless)浏览器,它会把网站加载到内存并执行页面上的JavaScript,因为不会展示图形界面,所以运行起来比完整的浏览器更高效。
 由于PhantomJS是一个浏览器,所以我们选择到其官网上去下载http://phantomjs.org/ ,而后将phantomjs/lib目录下的phantomjs.exe文件放到python的安装目录下(如本人的目录为:D:\ANACONDA\envs\my_env3_5)即可完成安装配置。

selenium

 是一个用于Web应用程序测试的工具,Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。我直接在conda中输入如下内容安装:

conda install selenium

 在安装完成后使用下列代码可以测试一下有没有安装成功,不过需要注意的是,新版的selenium已经不支持phantomJS了,所以可能会报错。可以安装低版本的selenium解决,或者是使用chrome headless。我这里使用重新安装低版本selenium的方法。

#更改版本
conda uninstall selenium
pip install selenium==2.48.0
#安装测试
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值