scrapy+selenium+phantomjs
在实际应用中发现splash的解析功能可能并没有那么方便,为了方便自动化的管理选自使用selenium即可。
phantomjs
PhantomJS是一个基于Webkit的”无界面”(headless)浏览器,它会把网站加载到内存并执行页面上的JavaScript,因为不会展示图形界面,所以运行起来比完整的浏览器更高效。
由于PhantomJS是一个浏览器,所以我们选择到其官网上去下载http://phantomjs.org/ ,而后将phantomjs/lib目录下的phantomjs.exe文件放到python的安装目录下(如本人的目录为:D:\ANACONDA\envs\my_env3_5)即可完成安装配置。
selenium
是一个用于Web应用程序测试的工具,Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。我直接在conda中输入如下内容安装:
conda install selenium
在安装完成后使用下列代码可以测试一下有没有安装成功,不过需要注意的是,新版的selenium已经不支持phantomJS了,所以可能会报错。可以安装低版本的selenium解决,或者是使用chrome headless。我这里使用重新安装低版本selenium的方法。
#更改版本
conda uninstall selenium
pip install selenium==2.48.0
#安装测试