java使用htmlunit爬取百度搜索信息

在maven项目里添加所需的开源包，这里我使用2.23版本

<dependency>   
        <groupId>net.sourceforge.htmlunit</groupId>  
        <artifactId>htmlunit</artifactId>  
        <version>2.23</version>  
</dependency>

htmlunit的基本设置，实现百度高级搜索：

public static String Baidu(String keyword)throws Exception{
    WebClient webclient = new WebClient()；
       //ssl认证
    //webclient.getOptions().setUseInsecureSSL(true);
       //由于有的网页js书写不规范htmlunit会报错，所以去除这种错误让程序执行完全（不影响结果）
    webclient.getOptions().setThrowExceptionOnScriptError(false);
    webclient.getOptions().setThrowExceptionOnFailingStatusCode(false);
       //不加载css
    webclient.getOptions().setCssEnabled(false);
       //由于是动态网页所以一定要加载js及执行
    webclient.getOptions().setJavaScriptEnabled(true);
    //打开百度高级搜索的网址
    HtmlPage htmlpage = webclient.getPage("