自动化测试工具selenium无界面浏览器PhantomJS在scrapy框架中的应用

1.PhantomJS的下载与安装

（1）下载链接https://phantomjs.org/download.html，下载之后是一个压缩文件，然后解压。得到一个文件夹，把文件夹放到C盘以外的盘（建议），找到文件夹中的bin文件夹下的phantomjs.exe如下图，复制其文件路径，

（2）然后打开系统环境变量窗口，找到path如左下图 ，单击下方编辑按钮，把复制的路径粘贴添加到变量值

（3）验证环境变量是否设置成功，在cmd窗口输入PhantomJS 如下图所示，则表示配置完成

2，测试selenium配合无界面浏览器phantomJS获取网页动态数据

from selenium import webdriver

# 使用webkit无界面浏览器
# 如果路径为exe启动程序的路径  那么该路径需要加一个r
driver = webdriver.PhantomJS(executable_path=r'D:/Python/phantomjs-2.1.1-windows/bin/phantomjs.exe')
# 获取指定网页的数据   start_urls
driver.get('http://news.sohu.com/scroll/')

print(driver.find_element_by_class_name('title').text)