java调用es进行scan_如何跳过es分页这个坑？

1、分页查询

1.1、 正常分页查询代码如下

假设现在你要查询第100页的10条数据，但是对于es来说，from=1000000，size=100，这时 es需要从各个分片上查询出来10000100条数据，然后汇总计算后从其中取出100条。如果有5个分片则需要查询出来5*10000100条数据，如果现在有一个100个查询请求呢，50亿左右的数据，一条数据2KB，就需要9000G左右的内存，什么样的机器能够支持这么庞大的查询，所以如果你在使用es的分页查询过程中，刚开始翻页可能速度比较快，可能到第一百页查询就需要4-5s，翻到1000页以后，直接报错了。

NativeSearchQueryBuilder query = new NativeSearchQueryBuilder();

if(!StringUtils.isEmpty(ulqBean.getStartTime()) && !StringUtils.isEmpty(ulqBean.getEndTime())) {

query.withQuery(QueryBuilders.rangeQuery("logTime").from(ulqBean.getStartTime()).to(ulqBean.getEndTime()));

}

if(!StringUtils.isEmpty(ulqBean.getSearch())) {

BoolQueryBuilder shouldQuery = QueryBuilders.boolQuery()

.should(QueryBuilders.wildcardQuery("content", "*" + ulqBean.getSearch() + "*"))

.should(QueryBuilders.wildcardQuery("code", "*" + ulqBean.getSearch() + "*"))

.should(QueryBuilders.wildcardQuery("name", "*" + ulqBean.getSearch() + "*"));

query.withQuery(shouldQuery);

}

query.withSort(new FieldSortBuilder("logTime").order(SortOrder.DESC));

if(ulqBean.getPageNo() != null && ulqBean.getPageSize() != null) {

//es结果从第0页开始算

query.withPageable(new PageRequest(ulqBean.getPageNo() - 1, ulqBean.getPageSize()));

}

NativeSearchQuery build = query.build();

org.springframework.data.domain.Page conductAuditsPage = templat