初使用elasticsearch踩过的坑

最新推荐文章于 2024-06-17 16:55:24 发布
最新推荐文章于 2024-06-17 16:55:24 发布
阅读量1.6k 收藏 1
点赞数 2
分类专栏： 问题记录 文章标签： elasticsearch 大数据 big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shumoyin/article/details/82180629
版权
本文介绍了在使用Elasticsearch 5.1.1到5.5.0版本时遇到的问题，包括cardinality去重在大数据量下可能不准确，terms分组统计默认仅显示10条分组数据，以及在spring-data-elasticsearch中聚合结果需要特殊处理才能获取。重点讨论了聚合操作在实际应用中的挑战和解决方案。
摘要由CSDN通过智能技术生成

使用框架：spring-data-elasticsearch:3.0.8.RELEASE
elasticsearch版本：5.1.1 ~ 5.5.0
spring-data-elasticsearch随着版本不同方法名会不一样，具体需要看源码

1、cardinality去重
对于4w以上数据的去重无法达到100%准确度

// precisionThreshold 设置精确数量，越高内存消耗越大
AggregationBuilders.cardinality("distinct").field("hid").precisionThreshold(40000);

2、terms分组统计
结果是带分页的，默认只显示10条分组数据

// 通过size设置数量
AggregationBuilders.terms("groupBy").field("date").size(Integer.MAX_VALUE);

3、spring-data-elasticsearch聚合结果
spring返回的是Page对象，需要强制转型AggregatedPageImpl才能使用，聚合顶层接口是Aggregation，根据聚合类型不一样，具体实现不一样。如果要获取聚合数值，需要强制转型。
目前我使用到的聚合类型如下：ipRange range terms cardinality
ipRange range terms 的聚合结果都有一个唯一的上层接口

最低0.47元/天 解锁文章
shumoyin
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
最新版elasticsearch的安装踩坑
学习
04-25 378
elasticearch是目前最流行的实时的分布式搜索和分析引擎，水平扩展能力非常强，提供restful接口简化使用难度。 文档 学习一个技术最好的方式就是阅读官方文档， elasticsearch权威指南中文翻译，这是我找到的最好一个在线版本。 工欲善其事必先利其器，下面介绍安装过程中遇到的坑： 下载 可以到elasticsearch中文社区下载，但是速度很慢。这里是国内镜像地址，速度还可以，...
ElasticSearch ES+java常用查询语句
m0_67401153的博客
04-18 866
elasticsearch用JAVA 查询数据太多，一次性返回数据有限制， 用车架号分组返回数据的时候，一直误认为.setFrom(0).setSize(100)就是查询返回的数据，这样的语句在单查询的时候没有问题，但是在addAggregation中，或者分组查询等情况下，根本没有效果，必须在addAggregation 返回数据前加上要取多少条记录 如addAggregation(AggregationBuilders.terms(“vinGroup”).field(“vin.keyword”).siz
elasticsearch使用 cardinality + collapse做分页去重查询
weixin_41478499的博客
09-03 4354
cardinality作用 统计去重后的数量 Elasticsearch 提供的首个近似聚合是 cardinality （注：基数）度量。 它提供一个字段的基数，即该字段的 distinct 或者 unique 值的数目。 类似mysql 查询：SELECT COUNT(DISTINCT name) FROM TABLE elasticsearch写法： POST /index/_search { "size":0, "aggs": { "name_count": { "card
Elasticsearch-ES查询单字段去重
最新发布
苍煜
06-17 936
整体数据。
ELK技术栈中的那些查询语法
爬蜥
07-16 551
ES-基本概念 词项： 所有文档中出现的不重复个体 分片： 底层工作单元，保存全部数据中的一部分，能搜索任意一个节点上的资源（文档会被存储和索引到分片内）。分为主分片和副本分片，索引内的任意一个文档都归属于主分片，副本分片是主分片的拷贝，提供读服务，副本分片和主分片不会被分到同一个节点 Document： 根对象，能被indexed的基本信息单元，用JSON表示，ID唯一,不可修改，只能替换...
（三）ES聚合、去重查询以及排序
rg201612的博客
08-29 3034
聚合、去重、排序、比较完全的查询
ElasticSearch：Aggregation聚合查询的入门与进阶
u012998680的博客
08-31 7728
目录 桶(Buckets) 指标(Metrics) 将两者结合起来——聚合 常见的聚合查询 聚合查询的使用 1、简单的词频统计 2、数据按时间划分 3、数据按某个字段进行聚合后，再按时间排序 为了掌握聚合，要先了解两个主要概念： Buckets(桶)：满足某个条件的文档集合。 Metrics(指标)：为某个桶中的文档计算得到的统计信息。 就是这样！每个聚合只是简单地由一个或者多个桶，零个或者多个指标组合而成。可以将它粗略地转换为SQL： SELECT COUNT(field) F
(五)ElasticSearch7.X之聚合查询java代码（所有队伍指定字段的cardinality（去重之后总数））
xiaohuo0930的博客
06-28 1553
POST /nba/_search { "query": { "term": { "teamNameEn.keyword": { "value": "Rockets" } } }, "aggs": { "counAget": { "cardinality": { "field": "playYear" } } }, "size": 0 } @Test public void test04() throws IOException { SearchRequest searchReq
Spring boot中使用ElasticSearch的方法详解
08-26
本文详细介绍了如何在 Spring Boot 中使用 ElasticSearch，包括选择版本、安装 ElasticSearch、配置 ElasticSearch、添加依赖项、创建 ElasticSearch 仓库、使用 ElasticSearch 等步骤。通过本文的学习，读者可以...
elasticsearch介绍与使用.pdf
08-14
Elasticsearch 使用的就是这种方法，它建立的索引使得搜索能快速定位到所需信息。 2. Elasticsearch 背景与发展 随着互联网的快速发展，网站数量激增，传统的搜索方式无法满足需求，因此出现了搜索引擎，如Elastic...
Java如何使用elasticsearch进行模糊查询
08-25
Java 使用 Elasticsearch 进行模糊查询 Elasticsearch 是一个基于 Lucene 的搜索引擎，提供了强大的搜索功能。Java 可以通过 Elasticsearch 的 API 来使用这些功能。本文将介绍如何使用 Java 语言在 Elasticsearch ...
ElasticSearch与MySQL如何搭配组合使用？
05-20
在现代大数据环境中，Elasticsearch (ES) 和 MySQL 常常被组合使用，以应对不同的业务需求。MySQL 是一款成熟的、广泛使用的的关系型数据库管理系统（RDBMS），擅长处理结构化数据，支持事务和复杂的 SQL 查询。而 ...
java使用elasticsearch分组进行聚合查询过程解析
08-25
Java 使用 Elasticsearch 进行分组聚合查询过程解析 Java 使用 Elasticsearch 进行分组聚合查询是一个常见的需求，特别是在大数据处理和数据分析领域。Elasticsearch 提供了强大的聚合功能，可以对数据进行分组、...
使用Elasticsearch进行分组聚合统计
ue4的博客
05-18 8347
使用Elasticsearch进行分组聚合统计
ElasticSearch去重问题
snowyleafcsdn的博客
08-02 1472
es提供了一个简单的计算distinct count的去重计数api，java代码调用如下 AggregationBuilders.cardinality("columnTypeName").field("column_name") 最后生成的查询数据结构为如下 "aggs": { "columnTypeName" : { "cardinality" : { "field...
ElasticSearch-AggregationBuilders查询遇到的坑
xx105的博客
11-07 9416
线上发现使用es查询状态汇总与实际数据库不对应，查看代码和数据库没有发现什么问题。 部分代码如下 后来搜了一下AggregationBuilders，发现如果在默认情况下，search执行后，仅返回10条聚合结果，如果想返回更多的结果，需要在构建时指定size，想要返回全部数据则指定size(0) ...
es 聚合查询 cardinality terms 对应java 解析代码
ch568的博客
04-08 278
例如 es 的 categories 擦查询语法。2 如果包含 cardinality 语法。对应jiava 代码组装 和解析数据。对应的 java 解析代码。
Elasticsearch数据去重（百万级别）
热门推荐
姚小姚的博克~~~~
08-10 2万+
如果你对去重结果的精准度没有特殊要求，使用cardinality聚合函数         AggregationBuilders.cardinality("deviceCount").field("deviceID").precisionThreshold(自定义一个精度范围100-40000)             优点：性能快，亿级别的记录在1秒内完成             缺点：存...
如何使用 es7.1.1 elasticsearch-sql
07-28
要使用 Elasticsearch SQL 插件，您需要先确保您已经安装了 Elasticsearch 7.1.1 版本。然后，按照以下步骤进行操作： 1. 安装 Elasticsearch SQL 插件： - 打开终端或命令提示符窗口。 - 运行以下命令安装 Elasticsearch SQL 插件： ``` ./bin/elasticsearch-plugin install https://github.com/NLPchina/elasticsearch-sql/releases/download/7.1.1.0/elasticsearch-sql-7.1.1.0.zip ``` - 安装完成后，重启 Elasticsearch 以使插件生效。 2. 使用 Elasticsearch SQL： - 打开终端或命令提示符窗口。 - 进入 Elasticsearch 的安装目录。 - 运行以下命令以启动 Elasticsearch SQL 查询： ``` ./bin/elasticsearch-sql-cli ``` - 您将进入 Elasticsearch SQL 的命令行界面。 - 现在，您可以开始使用 SQL 语法来查询 Elasticsearch 数据。 例如，您可以运行以下命令来执行一个简单的 SELECT 查询： ``` SELECT * FROM your_index_name WHERE your_field_name = 'your_value' ``` 注意：在上述查询中，`your_index_name` 是您要查询的索引名称，`your_field_name` 是您要查询的字段名称，`your_value` 是您要匹配的字段值。 这样，您就可以使用 Elasticsearch SQL 插件来执行 SQL 查询并检索 Elasticsearch 中的数据了。请记住，Elasticsearch SQL 插件提供了一种方便的方式来使用 SQL 语法进行查询，但它可能不适用于所有类型的查询，特别是复杂的查询。因此，在使用插件时，请确保您了解其使用限制和适用场景。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值