es的聚合数据的准确性

最新推荐文章于 2024-03-15 23:11:56 发布
最新推荐文章于 2024-03-15 23:11:56 发布
阅读量765 收藏
点赞数
分类专栏： elasticsearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lixia0417mul2/article/details/107351127
版权

1.我们在使用es做数据聚合时，需要注意的是我们得到的聚合结果是个近似的结果而不是精确的结果，我这里指的是一个索引有多个分片的情形下：主要原因是由于es在进行聚合操作获取TopN的记录时，通过请求每个分片的TopN条记录，总共获取到分片数 * TOPN的记录，然后从分片数 * TopN的记录中在获取TopN条记录，这样就不可避免地遗漏数据，导致数据不准确，当然我们可以指定从每个分片获取的记录条数，减少这种不准确度，不过这样会导致响应时间会相应变长，这需要开发的过程中做好权衡.

lixia0417mul2
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ES聚合数据+TOPN返回不准确问题解决
10-24 1232
ES聚合数据+TOPN返回不准确问题解决
es 精确匹配评分_【指标】文本分类常用评分标准
weixin_27076351的博客
12-19 1402
一个合适的评分标准，能够更好地衡量模型的准确率，我们根据文献综述，整理出各类任务的评分标准。供大家快速找到合适的评价指标。准确率和错误率准确率（accuracy）和错误率（Error Rate）是评价分类模型质量的最主要指标。准确率定义如下：错误率定义如下：其中，N 为样本总数，TP 为真正，FP 为假正，TN 为真负，FN 为假负，其实我们可以知道精确率/召回率/F1 值精确率（Precisi...
数据质量管理平台-EsDataClean-白皮书.pdf
11-27
数据质量管理平台-EsDataClean-白皮书，
ES 聚合分析不精准原因分析
最新发布
weixin_59367598的博客
03-15 1309
es 聚合操作有误差？
ES大量数据条件检索准确性问题
Alecor的博客
07-16 1118
ES的排序都是基于评分，而评分是基于当前分片的词频进行计算，每个分片节点的数据评分不一样；ES中基于分片的搜索方式，是分2个阶段进行的，即Query阶段和Fetch阶段。ES的搜索类型有2种；
es 时间字段聚合_Elasticsearch 聚合套路
weixin_39711959的博客
01-14 1031
聚合套路类似于 DSL 查询表达式，聚合也有可组合的语法：独立单元的功能可以被混合起来提供你需要的自定义行为。这意味着只需要学习很少的基本概念，就可以得到几乎无尽的组合。先说ES聚合的两个基本概念：桶(Buckets)和指标(Metrics)。桶(Buckets)：满足特定条件的文档的集合。分组的意思，类似SQL中的GROUP BY指标(Metrics)：对桶内的文档进行统计计算。注意理解黄色部分...
Elasticsearch聚合 之 Terms
06-19
Elasticsearch聚合之Terms Elasticsearch中的Terms聚合是一种常用的聚合方式，用于对文档中的某个字段进行分组统计。Terms聚合可以对文档中的某个字段进行分组，并统计每个组中的文档数量。 在Elasticsearch中，...
Elasticsearch测试数据.rar
04-23
2. **查询效率**：利用Elasticsearch的丰富查询语法，测试各种类型的查询，如精确匹配、模糊搜索、范围查询、多条件组合查询等，观察查询结果的准确性和返回速度。 3. **聚合分析**：Elasticsearch的聚合功能允许对...
ES测试数据-手机.rar
08-01
标题中的“ES测试数据-手机.rar”表明这是一个与Elasticsearch（简称ES）相关的测试数据集，主要聚焦在手机参数上。Elasticsearch是一种流行的开源全文搜索引擎，常用于复杂的数据检索、日志分析和实时数据分析。 ...
elasticsearch6.6.0 aarch64 arm
01-20
Elasticsearch 6.6.0 AArch64 ARM 是专为华为ARM架构服务器优化的搜索引擎和数据分析平台。这个版本是基于官方的x86发行版进行重新编译的，以适应ARM处理器的指令集，确保在华为的ARM服务器上能够高效、稳定地运行。...
elasticSearch查询语句DSL
06-27
在这篇资源中，我们将详细介绍如何使用DSL...最后，我们将分享一些实用技巧和最佳实践，帮助您充分发挥DSL在Elasticsearch中的优势。我们将探讨性能优化、查询调试和索引优化等关键主题，以提升查询效率和搜索准确性。
Elasticsearch里面聚合group结果不正确
gongpulin的博客
11-24 5677
我们都知道Elasticsearch是一个分布式的搜索引擎，每个索引都可以有多个分片，用来将一份大索引的数据切分成多个小的物理索引，解决单个索引数据量过大导致的性能问题，另外每个shard还可以配置多个副本，来保证高可靠以及更好的抗并发的能力。 将一个索引切分成多个shard，大多数时候是没有问题的，但是在es里面如果索引被切分成多个shard，在使用group进行聚合时，可能会出现问题，这
es开发之聚合数据结果不精确
ailiandeziwei的专栏
07-05 1494
1、实战开发遇到聚合问题 请教一个问题，ES 在聚合的时候发生了一个奇怪的现象聚合的语句里面size设置为10和大于10导致聚合的数量不一致，这个size不就是返回的条数吗？会影响统计结果吗？dsl语句摘要（手机敲不方便，双引号就不写了）： aggs:{topcount:{terms:{field:xx,size:10}}} 就是这个size，设置10和大于10将会导致聚合结果不一样，难道是es5.x的bug吗？ 以上是实战中的真实问题，基于这个问题，有了本篇文章。 本文探讨的聚合主要指：ter
问题解决：es聚合统计结果不准确
a961634066的博客
04-22 2576
解决方案：调大shard_size值 这个值表示要从分片上拿来计算的文档数量。默认情况下和size是一样的。取得size的值越大，结果会越接近准确，不过很明显会影响性能 {"aggs": { "ip_agg": { "terms": { "field": "ip", "size": num, "shard_size": num * 1000, "order": {
es 精确查找思路以及实现过程
07-21 4740
先交代几个概念: 1. 题库 题库中保存了所有的题目数据。 2.es es 是 elasticsearch ，es 同步了题库中的所有题目。 3. 重题 两道题目内容完全一样的题，肉眼看起来是一样的。题目里有 latex 公式，不同的 latex 公式展示后看起来可能是一样的。 4. es 打分 es 会对匹配到的结果集进行打分，分值越高的结果越排在前面。 另外，还涉及到分词、倒排索引这两个概念，这是搜索引擎的基本原理。 5. 分词 一段文本在保存到倒排索引之前需要先分词，查询的时候都是按分词来匹配的。 英
ES（elasticsearch）搜索标题精准匹配度调节
xiaosky5566的博客
09-02 9644
/** * 搜索专辑 * @param string $keywords 搜索词 * @param int $offset 偏移量 * @param int $limit 每页数量 * @param array $sort 排序条件, 默认按相关性排序, 支持多组(见self::$sort_*) * @param int ...
ElaticSearch进阶(7)_term+bool实现的multiword搜索原理
qq_24099547的博客
10-07 392
es 底层会将 match query 转成bool term 查询：match query --> bool + term。 例子: 1.普通match如何转换为term+should { "match": { "title": "java elasticsearch"} } 用诸如上面的match query进行多值搜索的时候，es会在底层自动将这个match query转换...
Elasticsearch 聚合性能优化六大猛招
热门推荐
铭毅天下Elasticsearch
02-01 1万+
1、问题引出默认情况下，Elasticsearch 已针对大多数用例进行了优化，确保在写入性能和查询性能之间取得平衡。我们将介绍一些聚合性能优化的可配置参数，其中部分改进是以牺牲写入性能...
Elasticsearch 聚合 不准确问题
安然无恙的博客
03-06 3655
在做es 聚合查询时，发现数据不准确：根据name 聚合，查询出wang jie有5个文档，然后。根据这个姓名查询，确有7个文档 说明，第一次聚合查询不准确 如下图： 第一次： 对应dsl 第二次： 对应dsl 于是网上搜索一波，看了几篇文章，大概总结一下 es 的数据是在shard上存储的，一个索引默认是5个分片，es 聚合查询的时候，是先在每个分片取出sh...
Elasticsearch 数据聚合实战：统计与分析
在深入了解 Elasticsearch (ES) 的过程中，数据聚合（aggregations）是一个至关重要的概念。它允许我们高效地对存储的数据进行统计、分析和运算，无需依赖传统的 SQL 查询，且能实现近实时的搜索效果。在 Elastic...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值