java 读取 带密码的 elasticsearch scroll翻页

java 读取 带密码的 elasticsearch scroll翻页

带密码的elasticsearch需要在访问时输入密码，故这里我们选择使用Curl工具的形式访问
首先我们定义一下工具类
相关的依赖可以在我之前的博客里查看
java 解析hiveserver2日志 解析HiveSQL 获取表的使用次数 热度
curl的工具类如下：

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;

public class TestCurl {

	//输入curl命令，如果空格则以空格为分割以数据形式进行传递
    public static String execCurl(String[] cmds) {
        ProcessBuilder process = new ProcessBuilder(cmds);
        Process p;
        try {
            p = process.start();
            BufferedReader reader = new BufferedReader(new InputStreamReader(p.getInputStream()));
            StringBuilder builder = new StringBuilder();
            String line = null;
            while ((line = reader.readLine()) != null) {
                builder.append(line);
                builder.append(System.getProperty("line.separator"));
            }
            return builder.toString();
        } catch (IOException e) {
            System.out.print("error");
            e.printStackTrace();
        }
        return null;
    }
}

然后定义一下scroll的网址

String scrollUrl="http://" + ip + ":"+port+"/" + index + "/_search?scroll=1m&size=5000&pretty";

scroll=1m是指程序设置的内存
size=5000是5000行的意思，这个可以适度调大
然后我们使用curl工具执行以下

String[] cmds={"curl","-u", "xxx:xxx",  "-XGET", scrollUrl};
String pageResult =TestCurl.execCurl(cmds);

第一个xxx是账号
第二个xxx是密码

scroll主要是需要一次请求后记录下_scroll_id的值，好在下次请求时带上
首先第一次解析

JSONObject resultJson = JSONObject.parseObject(pageResult);
if (resultJson.isEmpty()) {
            return;
        }
String scrollId = resultJson.getString("_scroll_id");

然后第二次请求时

String url = "http://" + ip + ":" + port + "/_search/scroll?scroll=1m&scroll_id=" + scrollId + "&pretty";

然后再次使用curl命令请求即可