ClickHouse（十四）：Clickhouse MergeTree系列表引擎 - SummingMergeTree

最新推荐文章于 2025-01-26 23:29:11 发布
最新推荐文章于 2025-01-26 23:29:11 发布
阅读量183 收藏
点赞数
分类专栏： 大数据OLAP体系技术栈 Clickhouse 技术 文章标签： clickhouse 实时数仓 olap 数据仓库 分布式数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32020645/article/details/132157338
版权
本文详细介绍了ClickHouse的SummingMergeTree表引擎，它在合并数据片段时将相同主键的行合并，提供数据汇总。通过建表语句解释和多个示例，阐述了如何利用SummingMergeTree引擎进行数据聚合，以减少存储空间并提高查询效率。文章还讨论了引擎的工作原理，包括如何选择聚合字段以及在不同分区中数据的处理方式。
摘要由CSDN通过智能技术生成

 进入正文前，感谢宝子们订阅专题、点赞、评论、收藏！关注IT贫道，获取高质量博客内容！

🏡个人主页：含各种IT体系技术，IT贫道_Apache Doris,大数据OLAP体系技术栈,Kerberos安全认证-CSDN博客

📌订阅：拥抱独家专题，你的订阅将点燃我的创作热情！

👍点赞：赞同优秀创作，你的点赞是对我创作最大的认可！

⭐️ 收藏：收藏原创博文，让我们一起打造IT界的荣耀与辉煌！

✏️评论：留下心声墨迹，你的评论将是我努力改进的方向！

目录

1. SummingMergeTree建表语句

2. 示例

2.1 测试不指定聚合字段同时测试不同分区内，相同排序key数据不会被合并

2.2 测试指定一个聚合字段

2.3 测试指定多个聚合字段

了解本专栏 订阅专栏 解锁全文
大数据ClickHouse（十）：MergeTree系列表引擎之SummingMergeTree
Lansonli（蓝深李）的博客
08-12 1209
并且数据的汇总条件是预先明确的，即GROUP BY的分组字段是确定的，可以使用该表引擎。
ClickHouse（十五）：Clickhouse MergeTree系列表引擎 - AggregatingMergeTree
qq_32020645的博客
08-09 210
向表中插入排序字段相同的数据进行分区聚合时，数据按照建表指定的聚合字段进行合并，其他的非聚合字段会保留最初的那条数据，新插入的数据对应的字段值会被舍弃。查询数据时，如果正常语句查询，aggregateFunction类型的列不会正常显示数据，针对以上的数据需要使用sumMerge来展示数据。对于AggregateFunction类型的列字段，在进行数据的写入和查询时与其他的表引擎有很大区别，在写入数据时，需要调用。对于上面的建表语句而言，需要使用sumState函数进行数据插入。-Merge 函数。
3、ClickHouse表引擎-MergeTree引擎
热门推荐
alanchanchn的专栏
05-05 6万+
数据的存储方式和位置支持哪些查询操作以及如何支持数据的并发访问数据索引的使用是否可以支持多线程请求是否可以支持数据复制MergeTree引擎该系列引擎是执行高负载任务的最通用和最强大的表引擎，它们的特点是可以快速插入数据以及进行后续的数据处理。该系列引擎还同时支持数据复制（使用Replicated的引擎版本），分区(partition)以及一些其它引擎不支持的额外功能。Log引擎该系列引擎是具有最小功能的轻量级引擎。
ClickHouse（十一）：Clickhouse MergeTree系列表引擎 - MergeTree（1）
qq_32020645的博客
08-05 813
🏡个人主页：含各种IT体系技术，📌订阅：拥抱独家专题，你的订阅将点燃我的创作热情！✏️评论：留下心声墨迹，你的评论将是我努力改进的方向！在所有的表引擎中，最为核心的当属MergeTree系列表引擎，这些表引擎拥有最为强大的性能和最广泛的使用场合。对于非MergeTree系列的其他引擎而言，主要用于特殊用途，场景相对有限。而MergeTree系列表引擎是官方主推的存储引擎，有主键索引、数据分区、数据副本、数据采样、删除和修改等功能，支持几乎所有ClickHouse核心功能。
clickhouse---MergeTree系列表引擎
weixin_38813363的博客
05-02 687
MergeTree MergeTree作为家族最基础的表引擎，提供了数据分区、一级索引和二级索引等功能。对于基础原理，在上一篇文章中已经介绍过了。本节进一步介绍MergeTree家族独有的另外两项能力----数据TTL与存储侧罗 TTL MergeTree中可以设置整个列字段或者整张表的TTL.如果到达ttl会将对应列/表删除。 ttl的运行原理：如果一张MergeTree表设置了TTL表达式，那么在写入数据时，会以数据分区为单位，在每个分区目录内生成一个名为ttl.txt文件，里面存储ttl相关信息。co
ClickHouse实战处理（一）：MergeTree系列引擎
sheep8521的博客
05-21 1820
6、partition.dat与minmax_[Column].idx：如果指定了分区键，则会额外生成partition.dat与minmax索引文件，它们均使用二进制格式存储。data.bin：数据文件，使用压缩格式存储，默认为LZ4压缩格式，用于存储某一列的数据。MergeTree在写入一批数据时，数据总会以数据片段的形式写入磁盘，且数据片段在磁盘上不可修改。这里我们介绍下MergeTree引擎表对应到磁盘的数据目录，Clikchouse新版本与之前版本对比，数据对应的磁盘目录略有不同。
ClickHouse学习笔记（四）：MergeTree 系列表引擎
u011047968的专栏
03-29 1519
MergeTree系列表引擎介绍
ClickHouse入门：表引擎-SummingMergeTree
高矮
01-02 4428
前言 插件及服务器版本 服务器：ubuntu 16.04 ClickHouse：20.12.5 文章目录简介聚合规则及聚合依据说明测试使用SummingMergeTreeSummingMergeTree表引擎声明方式如下普通数值类型字段聚合嵌套类型字段聚合嵌套类型字段指定复合Key非数值类型数据或非聚合字段处理方式总结 简介 SummingMergeTree表引擎主要用于只关心聚合后的数据，而不关心明细数据的场景，它能够在合并分区的时候按照预先定义的条件聚合汇总数据，将同一分组下的多行数据汇总到一行，这.
ClickHouse(11)ClickHouse合并树MergeTree家族表引擎之SummingMergeTree详细解析
编程代码，数据学习开发的日常总结。欢迎关注VX公众号：张飞的猪
10-06 1259
SummingMergeTree引擎继承自MergeTree。区别在于，当合并SummingMergeTree表的数据片段时，ClickHouse会把所有具有相同主键的行合并为一行，该行包含了被合并的行中具有数值数据类型的列的汇总值。如果主键的组合方式使得单个键值对应于大量的行，则可以显著的减少存储空间并加快数据查询的速度。一般SummingMergeTree和MergeTree一起使用。
ClickHouse SQL 查询中别名导致报错的问题分析与解决方案
qq_41924536的博客
01-23 606
在使用ClickHouse数据库进行数据查询时，SQL语句中的别名使用是常见的优化手段之一。但是，不当的别名使用可能会引发解析错误，影响查询结果的正确性。下面将通过实例详细探讨因别名使用而导致报错的原因，并提供相应的解决方案
Hive数据仓库中的数据导出到MySQL的数据表不成功
2201_76081438的博客
01-24 345
(2)权限问题：因为MySQL 数据库拒绝了 root 用户从 hadoop3 主机的连接请求，root 用户没有从 hadoop3 主机进行连接的权限。解决：通过 MySQL 的授权命令来授予权限。(1)没有下载flume和sqoop。
数据仓库经典面试题
摇光是颗星
01-19 1157
1.在数据仓库建设中，常用的ETL工具都有哪些？1.在数据仓库中，如何进行查询性能优化？1.请描述数据仓库的开发流程。1.什么是数据仓库？三、数据仓库技术与工具。一、数据仓库基础概念。二、数据仓库开发流程。四、数据仓库性能优化。
数据库、数据仓库、数据湖有什么不同
kcarly的专栏
01-26 1347
数据库适合事务处理和实时交互；数据仓库适合数据分析和决策支持；数据湖适合探索性分析和大规模数据分析。在实际应用中，可以根据具体需求选择合适的技术方案，或者将它们结合使用，以实现最佳的数据管理和分析效果。数据库、数据仓库和数据湖各有其独特的优势和适用场景。在实际应用中，企业可以根据具体需求选择合适的方案，或者将它们结合使用以实现最佳效果。例如，对于需要处理大规模原始数据的场景，可以选择数据湖；对于需要高效分析和决策支持的场景，则可以选择数据仓库；而对于需要事务处理和实时查询的场景，则可以选择数据库。
微服务学习-负载均衡器 LoadBalancer 实战
qq_29768197的博客
01-24 1184
微服务学习-负载均衡器 LoadBalancer 实战
探秘数据仓库新势力：网络建模
01-24 901
网络建模作为数据仓库领域的新势力，以其独特的优势和广阔的应用前景，正逐渐改变着我们对数据仓库的认识和应用方式。虽然它还面临着一些挑战，但随着技术的不断进步和创新，这些挑战必将被克服。让我们拭目以待，见证网络建模在数据仓库领域创造更多的精彩。
认知计算与 AI 大模型：数据仓库、数据湖与数据分析的变革力量
01-26 1007
大家好，我是秉寒，今天是龙年腊月 27 了，还有两天就是蛇年除夕了，在此借 CSDN，给大家拜年！祝愿大家在新的一年里，技术精进，工作顺遂，代码无 Bug，项目都超神，家庭幸福美满，事业蒸蒸日上，让我们一起在新的一年里继续探索技术的无限可能，共同成长，收获满满！在数字化进程高歌猛进的当下，数据已无可争议地成为企业发展的核心驱动力。如何高效管理和深度剖析这些数据，挖掘其中蕴藏的宝贵信息，已然成为企业在激烈竞争中脱颖而出的关键。
两种滑模观测器在PMSM无感矢量控制仿真中的应用：PLL与arctan结合策略及算法原理资料（附Matlab版本）,两种基于滑模观测器的PMSM无感矢量控制仿真(开关设置区分): 1. PLL+滑模(
01-27
两种滑模观测器在PMSM无感矢量控制仿真中的应用：PLL与arctan结合策略及算法原理资料（附Matlab版本）,两种基于滑模观测器的PMSM无感矢量控制仿真(开关设置区分): 1. PLL+滑模(降低高频开关噪声); 2. arctan+滑模； 有配套算法原理资料 并告知matlab版本。 ,核心关键词：PMSM无感矢量控制仿真; 滑模观测器; PLL+滑模（降低高频开关噪声）; arctan+滑模; 配套算法原理资料; MATLAB版本。,基于Matlab仿真的PMSM无感矢量控制策略：PLL+滑模与arctan+滑模对比分析
基于web的铁路订票管理系统 免费JAVA毕业设计 2024成品源码+论文+录屏+启动教程.zip
01-27
基于web的铁路订票管理系统 免费JAVA毕业设计 2024成品源码+论文+录屏+启动教程 启动教程：https://www.bilibili.com/video/BV1SzbFe7EGZ 项目讲解视频：https://www.bilibili.com/video/BV1Tb421n72S 二次开发教程：https://www.bilibili.com/video/BV18i421i7Dx
Matlab Simulink质量保障的DVR模型1.0：治理电压暂降、暂升与不平衡短路问题，适用于IEEE 33节点等模型，全程仿真仅0.7秒响应 ,动态电压恢复器（DVR）模型 Matlab
最新发布
01-27
Matlab Simulink质量保障的DVR模型【1.0】：治理电压暂降、暂升与不平衡短路问题，适用于IEEE 33节点等模型，全程仿真仅0.7秒响应。,动态电压恢复器（DVR）模型 Matlab simulink 质量过硬， 可用于治理电能质量问题：仿真总时长0.7s，DVR始终接入，具体如下： 0.1-0.2s治理电压暂降； 0.3-0.4s治理电压暂升； 0.5-0.6s治理不平衡短路。 适配于本家的IEEE 33节点等模型。 ,DVR模型；Matlab simulink；质量过硬；电能质量治理；仿真总时长；DVR接入；电压暂降治理；电压暂升治理；不平衡短路治理；IEEE 33节点模型。,"Matlab Simulink中DVR模型仿真：电能质量治理实践"
ClickHouse入门教程：从基础到优化
表引擎是ClickHouse的一大特色，例如TinyLog、Memory和MergeTree系列（如MergeTree、ReplacingMergeTree、SummingMergeTree等），它们各有不同的适用场景和优化策略。MergeTree系列引擎通常用于处理大量数据，支持...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值