Selenium+Chrome headless

Chrome-headless官网
Chrome webdriver 下载
1.简介

当爬取的页面需要加载数JS或者有异步渲染的时候，可以用得到Selenium+webdriver,如果要想自动化测试放在后台，可以用到：

1. htmlUnit:可以模拟浏览器运行，是一个无界面的浏览器，运行速度快，但是对于js技术支持不太友好；

2. phantomJS: 是一个基于webkit的JavaScript API。它使用QtWebKit作为它核心浏览器的功能，使用webkit来编译解释执行JavaScript代码。任何你可以在基于webkit浏览器做的事情，它都能做到。但是phantomJS版本已经不再维护啦;

3. Chrome-headless模式：Google 针对 Chrome 浏览器 59版 新增加的一种模式，可以让你不打开UI界面的情况下使用 Chrome 浏览器，所以运行效果与 Chrome 保持完美一致。

2.Selenium+Chrome heandless

在window系统下开启Chrome headless模式需要Chrome浏览器的版本是60+，对应的webdriver的版本是2.3+

private WebDriver WebDriver() {
        System.setProperty(ChromeDriverService.CHROME_DRIVER_EXE_PROPERTY, "D:\\MarkTool\\chromedriver3.3.exe");
        ChromeOptions options = new ChromeOptions();
        options.addArguments("--headless");//设置为无头模式
        WebDriver driver = new ChromeDriver(options);
        return driver;
    }