Java版web浏览器htmlunit使用记录-js解释器

2019独角兽企业重金招聘Python工程师标准>>>

记录一下：前两天有个爬虫的项目出问题了，爬取的服务端升级了mlgbd，给每个关键页面加了cookie验证。

访问服务器端给返回状态码202，并且返回的html里有一段加密过的js，这段js通过获取meta标签里动态传入的content值进行计算然后把值存入cookie，本来想看js直接写的啥 自己通过逻辑取出值去生成cookie的，结果发现js里的几个关键值都是后台动态生成的 ，想来想去直接取值麻烦 （1万行加密js代码，看的他妈头都大了 还是混淆过的）。

实在是受不了了 领导还天天催。结果想有没有什么能直接运行js的东西，就找到了htmlunit。

通过htmlunit拿到页面然后运行里面的js将js设置的cookie拿到，放到自己请求的cookie中，问题顺利解决了（由于每个页面都有js设置cookie，先用htmlunit执行js拿到cookie再用httpclient去获取页面访问）。

public String getJsCookie(String url,String... cName) {
        WebClient webClient = new WebClient(BrowserVersion.CHROME);
            //2.设置连接的相关选项
            webClient.getOptions().setCssEnabled(false);
            webClient.getOptions().setJavaScriptEnabled(true);  //需要解析js
            webClient.getOptions().setThrowExceptionOnScriptError(false);  //解析js出错时不抛异常
            //webClient.setJavaScriptEngine(new MyJavaScriptEngine(webClient));//自定义JavaScript引擎，有js错误不打印
            webClient.getOptions().setTimeout(10000);  //超时时间  ms
            webClient.waitForBackgroundJavaScript(10000);   //等侍js脚本执行完成
        //3.抓取页面
        HtmlPage page = null;
        try {
            page = webClient.getPage(url);//爬取页面的路径
        } catch (IOException e) {
            e.printStackTrace();
        }
        //4.将页面转成指定格式

        //System.out.println(page.asXml());
        CookieManager CM = webClient.getCookieManager(); //WC = Your WebClient's name
        Set<com.gargoylesoftware.htmlunit.util.Cookie> cookies_ret = CM.getCookies();//拿到htmlunit存取的页面cookie
        String cookiestr="";//按照默认方式进行拼接
        for(com.gargoylesoftware.htmlunit.util.Cookie cookie:cookies_ret){
            //System.out.println(cookie.getName()+":"+cookie.getValue());
            for(String name:cName){
                if(cookie.getName().equals(name)){
                    cookiestr+=name+"="+cookie.getValue()+";";
                }
            }
        }
        return cookiestr;
    }

服务端是可以访问了，但是有几个问题还待解决。
1.js报错关不掉，重写了不知是版本问题还是啥 没时间去弄了 直接设置异常不抛出也不管用。测试的时候不知道改了啥了 有几次没抛 结果还原代码 改不回去了。。。
2.解析js很慢。解析js太慢了 可能跟需要下载js文件有关 待优化，不过听说htmlunit对js支持不太好
3.试了几个版本发现都需要httpclient 4.5.2版本。 htmlunit最后用的 2.25最新版的。

转载于:https://my.oschina.net/u/3065626/blog/871323