对es进查询时,单次查询数据量太大可以通过分页来查询。
一般数据不是太大可以通过from+size浅分页实现,size显示的是每次结果返回的数量,默认是 10,from是从第几个返回,默认是 0。
比如:有14条数据,要分3页返回,每页5条,
则,第一页(返回1-5条):from:0,size:5
第二页(返回6-10条):from:5,size:5
第三页(返回11-14条):from:10,size:5
from满足等差数列公式:an=a1+(n-1)d
即如果有很多条数据要返回,第一页的from为0,每页返回d条,要返回第n页,
则第n页的from=0+(n-1)*d
但使用from+size数据量太大时会内存消耗特别大。
所以可以通过scroll来分页。
scroll分页查询返回的结果会带有这次滚动查询的scroll_id,下次查询可以通过本次scroll_id继续查询,用于接下来的查询。相当于在结果中做了个标记,通过这个标记下一次查询从这个标记处继续查询。
以查询学生id为例:
SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
searchSourceBuilder.query(boolQueryBuilder);
searchSourceBuilder.fetchSource("student_id", null);
// 设置超时时间
searchSourceBuilder.timeout(new TimeValue(60, TimeUnit.SECONDS))
//设置每页返回3000条数据
searchSourceBuilder.size(3000);
searchRequest.source(searchSourceBuilder);
searchRequest.scroll(TimeValue.timeValueMinutes(1L))
//查询
SearchResponse resp = restHighLevelClient.search(searchRequest);
List<String> studentList = new ArrayList<>();
//若数据量不足3000则执行一次。若大于3000则每3000条查询一次并返回,直到查询返回的结果为0则退出循环
do {
SearchHits hits = resp.getHits();
hits.forEach(v -> {
Map<String, Object> sourceAsMap = v.getSourceAsMap();
String studentId = sourceAsMap.get("student_id").toString();
studentList .add(studentId );
});
//获取scroll_id并再次查询
SearchScrollRequest scrollRequest = new SearchScrollRequest(resp.getScrollId());
scrollRequest.scroll(TimeValue.timeValueSeconds(3000));
resp = restHighLevelClient.searchScroll(scrollRequest);
} while (resp.getHits().getHits().length != 0);
关于elasticsearch分页参考文章:
Elasticsearch——分页查询From&Size VS scroll
es深度分页查询
Scroll深度分页及返回大量数据