【clickhouse】MergeTree引擎的固定/自适应索引粒度

最新推荐文章于 2024-02-23 16:55:26 发布
最新推荐文章于 2024-02-23 16:55:26 发布
阅读量400 收藏
点赞数 1
分类专栏： clickhouse 文章标签： clickhouse 自适应 索引 粒度 8192
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/113816791
版权
clickhouse 专栏收录该内容
139 篇文章 633 订阅 ¥19.90 ¥99.00
订阅专栏

文章目录


在这里插入图片描述

1.概述

转载：聊聊ClickHouse MergeTree引擎的固定/自适应索引粒度

我们在刚开始学习ClickHouse的MergeTree引擎时，建表语句的末尾总会有SETTINGS index_granularity = 8192这句话（其实不写也可以），表示索引粒度为8192。在每个data part中，索引粒度参数的含义有二：

每隔index_granularity行对主键组的数据进行采样，形成稀疏索引，并存储在primary.idx文件中；
每隔index_granularity行对每一列的压缩数据（[column].bin）进行采样，形成数据标记，并存储在[column].mrk文件中。
index_granularity、primary.idx、[column].bin/mrk之间的关系可以用下面的简图来表示。

在这里插入图片描述
但是早在一年前的ClickHouse 19.11.8版本，社区就引入了自适应ÿ

了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
自适应时间粒度算法_粒度_classroom16q_bigdata_自适应时间粒度数据采集算法_
10-03
本文将深入探讨“自适应时间粒度算法”，这是一种优化大数据采集策略的技术，旨在解决数据波动问题并有效管理存储资源。 首先，理解“时间粒度”这一概念至关重要。在数据处理中，时间粒度是指数据被收集或分析的...
ClickHouse（四）表引擎
Yuan_CSDF的博客
06-05 2471
官网：https://clickhouse.tech/docs/zh/engines/table-engines/ 表引擎在 ClickHouse 中的作用十分关键，直接决定了数据如何存储和读取、是否支持并发读写、是否支持 index、支持的 query 种类、是否支持主备复制等。 1.表引擎概述 ClickHouse 提供了大约 28 种表引擎，各有各的用途，比如有 Log 系列用来做小表数据分析，MergeTree 系列用来做大数据量分析，而 Integration 系列则多用于外表数据集成。再考
聊聊ClickHouse MergeTree引擎的固定/自适应索引粒度
LittleMagic's Blog
10-17 3922
前言 我们在刚开始学习ClickHouse的MergeTree引擎时，建表语句的末尾总会有SETTINGS index_granularity = 8192这句话（其实不写也可以），表示索引粒度为8192。在每个data part中，索引粒度参数的含义有二： 每隔index_granularity行对主键组的数据进行采样，形成稀疏索引，并存储在primary.idx文件中； 每隔index_gr...
ClickHouse学习小记--MergeTree原理
qq_45141105的博客
06-06 1118
MergeTree原理解析
Clickhouse 索引原理
天空之蓝的博客
09-13 2275
说到Clickhouse 的索引原理需要提到表引擎，Clickhouse 有很多特性和表引擎密切相关。这里只介绍索引相关的部分，关于表引擎的分类后续介绍。建表语句，例如这里介绍几个和索引密切相关的几个参数，其他参数后续介绍。1、PARTITION BY [选填]：分区键；用于指定表数据以何种标准进行分区。分区键既可以是单个列字段，也可以通过元组的形式使用多个列字段，同时它也支持使用列表达式。如果不声明分区键，则ClickHouse会生成一个名为all的分区。
ClickHouse使用（五）
dabai521的博客
04-04 113
ClickHouse使用（五）分区，索引，标记，压缩数据的协同1.写入2.查询过程 分区，索引，标记，压缩数据的协同 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 1.写入 （1）每一批数据的写入都会生成分区目录–合并属于同一个分区的分区目录–按照index_granularity（默认8192）生成primary.idx一级索引，二级索引，针对每列生成.mrk数据标记文件 和.
css 两边固定中间自适应布局的实现
09-22
主要介绍了css 两边固定中间自适应布局的实现，介绍了四种常用方法以及原理：浮动、浮动内嵌 div、定位、flex。具有一定的参考价值，感兴趣的小伙伴们可以参考一下
浅谈innodb的索引页结构,插入缓冲,自适应哈希索引
09-09
InnoDB存储引擎的索引是基于B树（B+Tree）实现的，无论是主键还是辅助键。索引页，也称为页节点，是InnoDB存储索引记录的基本单位，其默认大小为16KB。当新记录插入时，InnoDB会保留1/16的页面空间作为预留空间，以...
css实现左侧固定右侧自适应的布局方式
09-22
主要介绍了css实现左侧固定右侧自适应的布局方式，详细的介绍了3种方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
css实现两栏固定中间自适应的方法
09-22
主要介绍了css实现两栏固定中间自适应的方法，主要介绍了4种方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
优化索引粒度参数提升ClickHouse查询性能
neweastsun的专栏
06-25 1560
当对高基数列进行过滤查询时，总是希望尽可能跳过更多的行。否则需要处理更多数据、需要更多资源。ClickHouse缺省在MergeTree表读取8192行数据块，但我们可以在创建表时调整该`index_granularity` 参数。本文通过示例说明如何调整该参数优化查询性能。
合并数家族
weixin_39132087的博客
01-19 181
MergeTree 建表语句 CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster] ( name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1] [TTL expr1], name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2] [TTL expr2], ... INDEX index_name1 ex...
ClickHouse 指南（三）最佳实践 -- 主键稀疏索引
最新发布
chinusyan的专栏
02-23 2036
ClickHouse 指南（三）最佳实践 -- 稀疏主索引
Clickhouse工作原理
u013933879的博客
07-15 3579
文章目录Clickhouse为什么做查询分析那么快？1. 数据分区（MergeTree）1.1 命名规则 & 合并规则触发合并的时机1.2 各文件含义1.3 文件目录时序图2. 列式存储3. 一级索引（主键索引，稀疏索引）4. 二级索引（跳数索引）5. 数据压缩6. 数据标记 Clickhouse为什么做查询分析那么快？ 因为clickhouse使用了下列方案： clickhouse 数据分区 clickhouse 列式存储 clickhouse 一级索引（主键索引） clickhouse 二级索
ClickHouse应用
小呀么小白兔
03-02 397
第二章 ClickHouse的安装 2.1 准备工作 2.1.1 确定防火墙处于关闭状态 2.1.2 CentOS取消打开文件数限制  在hadoop102的 /etc/security/limits.conf文件的末尾加入以下内容 [apache@hadoop102 ~]$ sudo vim /etc/security/limits.conf * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * ha...
clickhouse中的sql操作
qq_42456324的博客
11-15 1662
clickhouse中的主键，和其他数据库不太一样，它只提供了数据的一级索引，但是却不是唯一约束。这就意味着是可以存在相同primary key的数据的。主键的设定主要依据是查询语句中的 where 条件。根据条件通过对主键进行某种形式的二分查找，能够定位到对应的index granularity,避免了全表扫描。直接翻译的话就是索引粒度，指在稀疏索引中两个相邻索引对应数据的间隔。clickhouse中的MergeTree默认是8192。
【HBZ分享】Clickhouse高性能剖析--稀疏索引
a645293829的博客
04-03 1507
简介 密集索引 与 稀疏索引的介绍 1. 密集索引：在密集索引中，数据库中每个键值都有一个索引记录，可以加快搜索速度，但需要更多空间来存储这些索引本身，索引记录包含键值 和 指向磁头上实际记录的指针 2. 稀疏索引：稀疏索引不会为每个关键字创建一个索引记录，而是为数据记录文件的每个存储块设置一个键-指针对。存储块意味着【块内存储单元连续】 案例 1. Mysql的MYISAM引擎里面使用的均为稀疏索引 2. Mysql的InnoDB中，如果存在主键，则主键是密集索引 3. Kafka里面的索引文件也是
【clickhouse】ClickHouse表引擎 MergeTree 索引与数据存储方式 一级索引 二级索引
九师兄
02-07 5486
分区、索引、标记数据和压缩数据都是 Merge 的重要组成部分，前面介绍过这不各部分的特点之后，现在需要将它们汇聚在一次做一个总结，下面从写入、查询。数据标记与压缩数据的对应关系三个部分介绍。
基于****改进的卡尔曼/维纳/自适应滤波算法
01-11
基于****改进的卡尔曼/维纳/自适应滤波算法是指在卡尔曼滤波、维纳滤波和自适应滤波的基础上进行改进和优化的滤波算法。这些改进可以包括对滤波器的结构、参数或者算法的改进，以提高滤波器的性能和适应性。 具体来...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值