HtmlUnit爬取页面

AlinaIDE

于 2018-02-06 20:22:29 发布

阅读量911

点赞数

本文链接：https://blog.csdn.net/liwenxia626/article/details/79274195

版权

该博客介绍了如何使用HtmlUnit库进行网页模拟登录。首先，可以通过手动登录获取cookie并保存在配置文件中，之后读取cookie实现自动登录。然后，文章提到了通过Java OCR API来识别验证码，虽然这种方法可能会导致登录失败需要多次尝试。整个过程旨在简化网页数据爬取流程。

摘要由CSDN通过智能技术生成

帮别人写了个爬区网页上部分数据的小程序，最初采用方式一，每次都能准确读取数据，但是需要手动输入cookie，略麻烦。

后来采用二，直接执行jar程序即可，弊端就是有时候识别验证码会不准确，需要多执行次才能正常获取数据。

一、手动登录系统，将cookie粘贴到配置文件中，然后通过读取配置文件中的cookie模拟登陆

private static WebClient getWebClient(){
WebClient webClient = new WebClient(BrowserVersion.FIREFOX_45);
webClient.addRequestHeader("Accept", " text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
webClient.addRequestHeader("Accept-Language", "zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3");
webClient.addRequestHeader("Connection", "keep-alive");
/*CookieManager cm = new CookieManager();
cm.setCookiesEnabled(true);
String aspCookie = ReadConf.readProperties(Constants.ASP_COOKIE);
String ssoCookie = ReadConf.readProperties(Constants.SSO_COOKIE);
<