通过Selenium-java进行渲染获取页面内容案例（Selenium+firefox版本问题已解决）

针对爬虫获取异步请求的数据时，往往比较麻烦，需要分析异步请求的路径，再次发起请求获取数据(可能是JSON等)。另外还有一种方式是通过模拟浏览器内核获取动态加载的数据，使得动态页面的数据获取与解析同静态HTML一样方便。

目前对于Java爬虫而言，最常用的浏览器内核模拟工具是做自动测试用的Selenium。然而，由于浏览器的不断升级，很多时候在配置Selenium的版本与浏览器(还有浏览器的驱动)版本对应问题，经常容易出错。下面通过一个案例总结一种最常用的版本对应方式(Selenium+firefox+驱动)以及常用方式：

import org.apache.http.HttpEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.impl.client.DefaultHttpClient;
import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.firefox.FirefoxDriver;

import java.io.InputStream;
import java.util.List;

/**
 * 这是一个通过Selenium实现自动化操作浏览器的测试类
 * 根据版本测试，本测试选择版本如下：
 * selenium版本：selenium3.8.0(最新版，导入client-combined-3.8.0.jar即可)。翻墙到官网可下载http://www.seleniumhq.org/download/
 * 使用火狐浏览器做测试，浏览器版本 firefox57.0.3(最新版)
 * geckodriver 驱动：geckodriver 0.19.0（最新版）  由于firefox47以上版本不再内置驱动，需要自己装对应版本的驱动。
 * 下载地址：https://github.com/mozilla/geckodriver/tags下载对应版本
 * @author kevin5211
 * @2018-1-1.
 */
public class SeleniumTest {
   
    private static WebDriver.Navigation navigation;
    public static void main(String[] args) {
        //登陆测试模板
//        test1();

//        test2();
//        test3();
//        test4();
        test5();
    }

    /**
     *通过firefox浏览器内核渲染的方式获取花瓣网的图片并下载
     */
    public static void test5(){
        System.setProperty("webdriver.gecko.driver","D:\\Program Files\\Driver\\geckodriver.exe");