elasticsearch
文章平均质量分 64
螃蟹士兵
这个作者很懒,什么都没留下…
展开
-
Elasticsearch滚动查询+线程池处理大批量数据
什么是滚动查询?scroll 查询 可以用来对 Elasticsearch 有效地执行大批量的文档查询,而又不用付出深度分页那种代价。scroll查询允许我们 先做查询初始化,然后再批量地拉取结果。 这有点儿像传统数据库中的 游标(cursor) 。如果一次性要查出来比如10万条数据,那么性能会很差,此时一般会采取用scroll滚动查询,一批一批的查,直到所有数据都查询完处理完。scrol...原创 2019-01-09 11:51:33 · 4195 阅读 · 0 评论 -
ElasticSearch使用elasticsearchTemplate聚合查询
这两天正好做个需求,需要用到聚合查询。前几篇文章只是简单的提到过,并没有真正的运用到实际产出中,本篇结合实际代码,专项学习ES的聚合查询。1、业务背景有一张地址索引表:hisAddress与formatAddress是一对多的关系。当一条地址进来查找hisAddress,然后对formatAddress做聚合,再根据count筛选聚合中的数据。类似以下SQL:select hisAd......原创 2022-06-09 17:32:14 · 15880 阅读 · 1 评论 -
ElasticSearch批量处理器
其实之前在ElasticSearch之Java API就有提到过批量处理器,它可以把多个请求放在bulk缓存集中处理,大大减少了ES的网络连接,实在是优化ES性能的神兵利器!如何使用首先创建一个BulkProcessor:import org.elasticsearch.action.bulk.BackoffPolicy;import org.elasticsearch.action.bu...原创 2019-02-22 12:14:18 · 391 阅读 · 0 评论