Selenium是一个自动化测试工具,可以模拟用户操作浏览器的行为,故也可以用于对一些需要执行JS脚本的网站的爬虫的开发
一、Linux(Centos)下命令行环境的搭建
1.1 Xvfb的安装
由于命令行下没有图形界面,这样就需要一个虚拟的后台运行的桌面Xvfb来欺骗浏览器使其得以正常运行
yum install Xvfb
1.2 后台启动Xvfb并指定DISPLAY的值
Xvfb -ac :110 -screen 0 1280x1024x8 &
export DISPLAY=:110
这样启动的浏览器就会在虚拟的桌面:110运行
二、ChromeDriver的使用
2.1 指定ChromeDriver文件路径
Windows :
System.setProperty("webdriver.chrome.driver", "/path/to/chromedriver.exe");
Linux :
System.setProperty("webdriver.chrome.driver", "/path/to/google-chrome");
chromium :
System.setProperty("webdriver.chrome.driver",