aggregation源码分析

最新推荐文章于 2022-06-20 21:49:18 发布
最新推荐文章于 2022-06-20 21:49:18 发布
阅读量540 收藏 1
点赞数
分类专栏： 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014645192/article/details/100896362
版权
本文深入探讨了Elasticsearch聚合（aggregation）的源码，从搜索阶段的QueryPhase和FetchPhase分析了聚合过程。重点讲解了docvalue在聚合中的作用，以及如何在多段（segment）和多shard环境中维护和合并aggregation结果。
摘要由CSDN通过智能技术生成

概述：

aggregation聚合文档指定字段，在查询的时候知道文档的docId，那么取对应字段值用到了docvalue（知识点1），取到值后保存一个term-function映射map里,比如docCount（知识点二），因为多segment，所以只能每个segment内部维护一个，shard层面根据全局oriId再合并。又因为es多shard,所以再fetchPhase阶段合并多个shard的aggregation,排序agg结果并返回。

源码入口

已知：es search再transport层面的入口类为：TransportSearchAction，默认searchType为QUERY_THEN_FETCH.
可得到：search action为:SearchQueryThenFetchAsyncAction
在这里插入图片描述

search阶段：

QueryPhase.java
在这里插入图片描述
LongTermsAggregator.java
在这里插入图片描述
在这里插入图片描述

最低0.47元/天 解锁文章
Windows10之家
关注
专栏目录
【k8s源码分析-Apiserver-1】理解 apiserver 的结构（AggregatorServer、KubeAPIServer、ApiExtensionsServer）
叮当猫的喵i
12-06 543
Prometheus 项目与Kubernetes项目一样，也来自于 Google 的Borg体系，它的原型系统，叫作 BorgMon，是一个几乎与 Borg 同时诞生的内部监控系统。而 Prometheus 项目的发起原因也跟 Kubernetes 很类似，都是希望通过对用户更友好的方式，将 Google 内部系统的设计理念，传递给用户和开发者。作为一个监控系统，Prometheus 项目的作用和工作方式，其实可以用如下所示的一张官方示意图来解释。可以看到，Prometheus 项目工作的核心，是。
源码分析 --- Spark如何确定Splits和分区数
杨鑫newlife的专栏
05-29 1335
一、结论: 默认情况下Splits和Task和Partition数是一一对应的，数量是一样的； 1.如果在没有指定分区数的时候，默认的是sc.defaultMinPartitions=min(sc.defaultParallelism,2)。也就是sc.defaultMinPartitions只有两个值1和2，当sc.defaultParallelism>1时值为2，当sc.defaultParallelism=1时，值为1； 2.如果是读取HDFS的文件的话，分区是当我们计
agg2.5源码+文档
06-06
开源跨平台2d图形库，agg2.5源码+文档
AGG入门(1)：VS2013编译agg源码
KingW
03-30 1992
1.源码下载：http://www.antigrain.com/download/index.html 这里我们下载最新版本agg2.52.打开VS2013，新建一个空项目，将下载的agg源码包解压，拷贝以下cpp到VS2013的工程中：./src/ 目录下所有cpp文件【核心库】* ./src/ctrl/ 目录下所有cpp文件【控件库】* ./src/platform/ 下对应平台目录（win
AGG 渲染器(Renderers)
bitasd的专栏
06-10 1459
Renderers 渲染器渲染器负责表现扫描线Scanline中的每个线段（span）。在渲染器之前，AGG图形中的线段是没有颜色值的，只是位置、长度和 覆盖率（透明度）。渲染器赋于线段色彩，最终成为一幅完整的图像。渲 染器被分成底中高三层。其中底层负责像素包装，由PixelFormat Renderer实现；中层是基础层，在PixelFormat Renderer的基础上提供更多方法
基于Agg的扫雷程序实现
yinyhy的专栏
08-16 2752
基于Agg的扫雷程序实现       摘要：agg是一个非常优秀的开源矢量图形库，还有一个类似的库是Cairo。与Cairo相比，Agg的效率更高，网上有人做了一个比喻，Agg是一堆进口车零件，而Cairo是一辆完整的国产车。       这意味着Agg使用Agg需要我们自己对其进行封装，它提供从最原始的显存操作到最终的反走样操作的类的封装，只要细心研究它的文档，还是比较容易上手的。当然对图形
Aggregate Services
weixin_30869099的博客
01-29 179
https://stackoverflow.com/questions/7199097/constructor-injection-into-a-base-class-using-autofac Calling the base class constructor explicitly is the only way to do this using constructor injectio...
Spark 源码分析
qq_42192672的博客
03-22 1252
Spark 源码分析基础概念Scala Iterator（迭代器）Scala的Option的类型高级概念Yarn模式运行机制(ing)Master & Worker(ing)作业执行原理(ing)Shuffle详解(ing)数据倾斜(ing)算子mapflatMapfilter案例1:案例2mapPartitions案例1mapPartitionsWithIndexgroupByKeydefaultPartitionerShuffledRDD案例1reduceByKey案例1groupBycogro
GXT组件使用教程4——Aggregation Grid
03-20
在本文中，我们将深入探讨GXT组件的...总的来说，GXT的Aggregation Grid是一个强大的工具，能够帮助开发人员高效地展示和分析大量数据。通过熟练掌握其配置和使用，可以在Web应用程序中构建出功能丰富的数据展示界面。
Aggregation数据集
05-03
Aggregation Aggregation Aggregation 适合聚类使用！有多类簇
Elasticsearch 内核解析 -查询篇
程序媛
10-13 657
我们仍然先从Elasticsearch的两个身份：NoSQL和Search领域的查询区别说起。 读操作 实时性和《Elasticsearch内核解析 - 写入篇》中的“写操作”一样，对于搜索而言是近实时的，延迟在100ms以上，对于NoSQL则需要是实时的。 一致性指的是写入成功后，下次读操作一定要能读取到最新的数据。对于搜索，这个要求会低一些，可以有一些延迟。但是对于NoSQL数据库，则一般要求最好是强一致性的。 结果匹配上，NoSQL作为数据库，查询过程中只有符合不符合两种情况，而搜索里面还有是
mongo数据库的操作(aggtegate聚合操作详解)
大老表的博客
09-09 5286
""" conn = pymongo.Connection() collection = conn.dbname.collection_name #match用户筛选,相当于sql语句中的where后面的表达式 match = {} match['date'] = { '$gte' : '2015-08-21', #大于等于2015年8月21日的 '$lte' : '2015-0...
ES aggregation详解
thlzjfefe的博客
06-20 4275
aggregation分类 aggregations —— 聚合，提供了一种基于查询条件来对数据进行分桶、计算的方法。有点类似于 SQL 中的 group by 再加一些函数方法的操作。聚合可以嵌套，由此可以组成复杂的操作（Bucketing聚合可以包含sub-aggregation）。聚合整体上可以分为 3 类：1. Bucketing：桶分聚合：此类聚合执行的是对文档分组的操作，把满足相关特性的文档分到一个桶里，即桶分。输出结果往往是一个个包含多个文档的桶。 此类聚合会有一个关键字（field、scri
ES5.6.4源码解析--聚合查询流程
qqqq0199181的博客
09-26 1392
aggregationPhase.preProcess(searchContext); 在执行聚合查询之前做一些准备：构建aggregationContext用于存放聚合过程中产生的数据；构建aggregators，他是聚合过程中统计数据的具体实现，由aggregator构成了采集器collectors。 ...
ClickHouse 聚合函数的执行过程
Dreamming Time的博客
05-21 2816
基本的概念 Block：数据块，ClickHouse进行数据读、写的基本单元，每一个Block实例，不仅包含数据域，还包含了每个列的meta信息。 Chunk：数据块，保存实际数据的单元，Block中的数据域的指向的就是这个类型的实例。 Row：一行记录，包含多个列索引，Chunk可以认为是由多个Row组成的。 Column：一列数据，包含一个列上的Block Size数量的行。 一个Block对象，可以简单理解为一张表，它的每一列都有相同的长度，每一行长度也等： Block/Chunk Colum
Elasticsearch：aggregation 介绍
Elastic 中国社区官方博客
11-02 6295
聚合(aggregation)功能集是整个Elasticsearch产品中最令人兴奋和有益的功能之一，主要是因为它提供了一个非常有吸引力对之前的facets的替代。 在本教程中，我们将解释Elasticsearch中的聚合（aggregation）并逐步介绍一些示例。 我们比较了指标聚合和存储桶聚合，并展示了如何利用聚合嵌套（对于facets而言这是不可能的）。 欢迎您在本文中复制所有示例代码。......
AGG绘图库编译方法
心如止水-GISer的成长之路
07-16 5931
今天在同事的推荐下，下载了AGG的源代码进行编译，AGG在GIS系统中经常用到，比如mapguide，mapnik等用到了AGG。现在很多导航公司也使用AGG作为地图绘制的引擎。 这个引擎绘制出来的效果非常好，据说还可以反锯齿。抱着好奇的心态就试了一下。    1、下载源码，去http://www.antigrain.com/download/index.html就可以下载源码包。 2、在V
【渲染引擎】agg介绍
zwan0518的专栏
06-28 5180
AGG是一款功能非常强大的渲染引擎。它使用标准的C++和基本的C函数实现，但是它并没有使用C++里的一些模版函数，因此AGG可以在很多场合下使用，甚至在一些端和嵌入式开发中也可以使用。AGG也可以用在web服务端，你可以在服务端渲染出一个图片返回给客户端，AGG支持各种格式的数据，具有很好的跨平台性。 AGG的设计理念也是基于插件式的开发模式，所以在AGG的使用中，你可以使用任何其他第三方库。比如
Django Aggregation深度解析：实现高效数据聚合
"本文将深入探讨Django框架中的Aggregation聚合功能，以及如何利用它来进行数据分析和查询。通过具体的代码示例，读者可以了解到聚合在实际应用中的价值，并掌握其基本用法。" 在Django中，聚合操作是用于处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值