elasticsearch使用scroll做数据分页

from elasticsearch import Elasticsearch
es_client = Elasticsearch(hosts=ES_URL, timeout=600)
esdata = []
es_scroll_size = 200
scroll_tm = "10s"
query_data = es_client.search(index="xxx", scroll=scroll_tm, size=es_scroll_size, body=body)
    if query_data.get("hits").get("hits"):
        scroll_id = query_data["_scroll_id"]
        esdata.extend([i['_source'] for i in query_data["hits"]["hits"]])
        while True:
            scroll_res = es_client.scroll(scroll_id=scroll_id, scroll=scroll_tm)
            if not scroll_res.get("hits").get("hits"):
                break
            esdata.extend([i['_source'] for i in scroll_res["hits"]["hits"]])

scroll的数据以快照形式保存在内存,最多不超过24h,所以会缺失当前更新的数据。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用 ElasticsearchScroll API 可以实现高效分页查询大量数据。下面是一个基于 Java 的 demo: ```java import org.apache.http.HttpHost; import org.elasticsearch.action.search.ClearScrollRequest; import org.elasticsearch.action.search.ClearScrollResponse; import org.elasticsearch.action.search.SearchRequest; import org.elasticsearch.action.search.SearchResponse; import org.elasticsearch.action.search.SearchScrollRequest; import org.elasticsearch.client.RestClient; import org.elasticsearch.client.RestHighLevelClient; import org.elasticsearch.common.unit.TimeValue; import org.elasticsearch.index.query.QueryBuilders; import org.elasticsearch.search.SearchHit; import org.elasticsearch.search.builder.SearchSourceBuilder; import java.io.IOException; public class ElasticsearchDemo { public static void main(String[] args) throws IOException { RestHighLevelClient client = new RestHighLevelClient( RestClient.builder( new HttpHost("localhost", 9200, "http"))); SearchSourceBuilder sourceBuilder = new SearchSourceBuilder(); sourceBuilder.query(QueryBuilders.matchAllQuery()); sourceBuilder.size(10000); sourceBuilder.timeout(new TimeValue(60, TimeValue.Unit.SECONDS)); SearchRequest searchRequest = new SearchRequest(); searchRequest.indices("your_index_name"); searchRequest.scroll(new TimeValue(60000)); searchRequest.source(sourceBuilder); SearchResponse searchResponse = client.search(searchRequest); String scrollId = searchResponse.getScrollId(); SearchHit[] hits = searchResponse.getHits().getHits(); while (hits != null && hits.length > 0) { // 处理查询结果 for (SearchHit hit : hits) { // 处理查询结果 } SearchScrollRequest scrollRequest = new SearchScrollRequest(scrollId); scrollRequest.scroll(new TimeValue(60000)); searchResponse = client.scroll(scrollRequest); scrollId = searchResponse.getScrollId(); hits = searchResponse.getHits().getHits(); } ClearScrollRequest clearScrollRequest = new ClearScrollRequest(); clearScrollRequest.addScrollId(scrollId); ClearScrollResponse clearScrollResponse = client.clearScroll(clearScrollRequest); client.close(); } } ``` 上述代码中,我们通过 Elasticsearch 的 Java 客户端 RestHighLevelClient 发起查询请求,并设置查询条件为 `matchAllQuery()`,查询结果的数量为 10000,查询超时时间为 60 秒。然后使用 `searchRequest.scroll(new TimeValue(60000))` 设置查询结果的滚动时间为 60 秒,获取第一次查询结果 `searchResponse`。 接下来,我们使用 `searchResponse.getScrollId()` 获取查询结果的 scrollId,并使用 `searchResponse.getHits().getHits()` 获取查询结果的 hits 数组,处理查询结果。然后使用 `SearchScrollRequest` 发起下一次查询,获取查询结果 `searchResponse` 和新的 scrollId,重复以上操作,直到查询结果为空。 最后,我们使用 `ClearScrollRequest` 清除 scrollId,释放资源。 使用 Scroll API 可以高效地查询大量数据,但需要注意的是,查询结果会占用 Elasticsearch 的内存资源,需要在使用完毕后及时清除 scrollId。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值