java接口模拟登陆过程_java WebClient 模拟登陆 得到接口数据

java使用WebClient实现后台登陆爬取数据

WebClient

WebClient是从Spring WebFlux 5.0版本开始提供的一个非阻塞的基于响应式编程的进行Http请求的客户端工具。它的响应式编程的基于Reactor的。WebClient中提供了标准Http请求方式对应的get、post、put、delete等方法，可以用来发起相应的请求。WebClient可以通过WebClient.create()创建一个WebClient的实例，之后可以通过get()、post()等选择调用方式，uri()指定需要请求的路径，retrieve()用来发起请求并获得响应，bodyToMono(String.class)用来指定请求结果需要处理为String，并包装为Reactor的Mono对象。

后台爬取数据主要是就是cookie怎么保持的问题，有些网站登陆加密很复杂，所以可以用webclient模拟登陆，绕过加密，只要WebClient不清除cookie就会一直在。

依赖

net.sourceforge.htmlunit

htmlunit

2.36.0

登陆

public void login() throws FailingHttpStatusCodeException, IOException {

HtmlPage page = null;

// 获取指定网页实体

URL url = new URL("****");//网页url

page = (HtmlPage) wc.getPage(url);//page就会得到一个页面实体

HtmlInput usernameInput = page.getHtmlElementById("LoginName");//通过getHtmlElementById获取输入框

HtmlInput pswInput = page.getHtmlElementById("Password");

// 往输入框 “填值”

usernameInput.setValueAttribute("admin");

pswInput.setValueAttribute("cjglyjsbyy");

// 获取登陆按钮

HtmlInput btn = page.getHtmlElementById("btnLogin");

try {

btn.click();//按下登陆按钮

Log.debug(wc.getCookies(url).toString());

} catch (IOException e) {

e.printStackTrace();

hLog.error(e);

}

}

拿数据

//url就是爬取数据的网页接口

public String ajax(String Url) throws FailingHttpStatusCodeException, IOException {

URL url = new URL(Url);

String res = "";

res = wc.getPage(url).getWebResponse().getContentAsString();

if (analysisRes(res)) {//这里是一个根据返回值判断是否存在登陆状态的方法

login();

res = wc.getPage(url).getWebResponse().getContentAsString();

}

Log.debug(res);

// 判断返回值是否正确

return res;//这里返回的就是接口数据

}

只要保持webClient不关闭，就可以用 wc.getPage(url).getWebResponse().getContentAsString(); 拿到所有接口返回数据

附上全部代码

public class Client {

WebClient wc;

public Client(WebClient webClient) {

wc = webClient;

wc.getOptions().setJavaScriptEnabled(true);//支持js

wc.getOptions().setCssEnabled(true);//支持CSS，一般CSS不需要

wc.setAjaxController(new NicelyResynchronizingAjaxController());//配置使用ajax，没有这一项调用网页接口会失败

}

public void login() throws FailingHttpStatusCodeException, IOException {

HtmlPage page = null;

// 获取指定网页实体

URL url = new URL("http://****");

page = (HtmlPage) wc.getPage(url);

HtmlInput usernameInput = page.getHtmlElementById("LoginName");

HtmlInput pswInput = page.getHtmlElementById("Password");

// 往输入框 “填值”

usernameInput.setValueAttribute("admin");

pswInput.setValueAttribute("cjgly**y");

// 获取搜索按钮

HtmlInput btn = page.getHtmlElementById("btnLogin");

try {

btn.click();

Log.debug(wc.getCookies(url).toString());

} catch (IOException e) {

e.printStackTrace();

hLog.error(e);

}

}

public String ajax(String Url) throws FailingHttpStatusCodeException, IOException {

URL url;

String res = "";

url = new URL(Url);

res = wc.getPage(url).getWebResponse().getContentAsString();

if (analysisRes(res)) {//analysisRes() 判断是否需要登陆

login();

res = wc.getPage(url).getWebResponse().getContentAsString();

}

Log.debug(res);

// 判断返回值是否正确

return res;

}

}