![](https://img-blog.csdnimg.cn/1a231924428549b0b6d3e02562a95a4b.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Clickhouse 技术
文章平均质量分 93
Clickhouse基础内容,关于Clickhouse进阶内容,详见主页“大数据OLAP体系技术栈”专栏。
IT贫道
10余年大数据架构行业工作经验,多年线下和线上大数据教学经验,专注于大数据技术分享。
展开
-
ClickHouse(十五):Clickhouse MergeTree系列表引擎 - AggregatingMergeTree
向表中插入排序字段相同的数据进行分区聚合时,数据按照建表指定的聚合字段进行合并,其他的非聚合字段会保留最初的那条数据,新插入的数据对应的字段值会被舍弃。查询数据时,如果正常语句查询,aggregateFunction类型的列不会正常显示数据,针对以上的数据需要使用sumMerge来展示数据。对于AggregateFunction类型的列字段,在进行数据的写入和查询时与其他的表引擎有很大区别,在写入数据时,需要调用。对于上面的建表语句而言,需要使用sumState函数进行数据插入。-Merge 函数。原创 2023-08-09 08:00:00 · 113 阅读 · 0 评论 -
ClickHouse(十四):Clickhouse MergeTree系列表引擎 - SummingMergeTree
该引擎继承了MergeTree引擎,当合并 SummingMergeTree 表的数据片段时,ClickHouse 会把所有具有相同主键的行合并为一行,该行包含了被合并的行中具有数值数据类型的列的汇总值,即如果存在重复的数据,会对对这些重复的数据进行合并成一条数据,类似于group by的效果,可以显著减少存储空间并加快数据查询速度。如果两行数据除了排序字段相同,其他的非聚合字段不相同,那么在聚合发生时,会保留最初的那条数据,新插入的数据对应的那个字段值会被舍弃。以数据分区为单位来聚合数据。原创 2023-08-08 08:00:00 · 88 阅读 · 0 评论 -
ClickHouse(十三):Clickhouse MergeTree系列表引擎 - ReplicingMergeTree
🏡个人主页:含各种IT体系技术,📌订阅:拥抱独家专题,你的订阅将点燃我的创作热情!✏️评论:留下心声墨迹,你的评论将是我努力改进的方向!以上MergeTree不能对相同主键的数据进行去重,ClickHouse提供了ReplacingMergeTree引擎,可以针对同分区内相同主键的数据进行去重,它能够在。值得注意的是,ReplacingMergeTree只是在一定程度上解决了数据重复问题,由于自动分区合并机制在后台定时执行,所以。原创 2023-08-07 23:27:20 · 878 阅读 · 0 评论 -
ClickHouse(十二):Clickhouse MergeTree系列表引擎 - MergeTree(2)
通过前面的学习,我们知道向MergeTree分区表中每次插入数据时,每次都会生成对应的分区片段,不会立刻合并相同分区的数据,需要等待15分钟左右,ClickHouse会自动合并相同的分区片段,并删除合并之前的源数据片段,当然这里我们也可以手动执行OPTIMIZE 语句手动触发合并分区表中的分区片段。通过下面案例来学习分区表中分区片段合并的规则。“202106_3_3_0”为例,“202006”为分区,“3”代表数据块的最小编号,“3”代表数据块的最大编号,“0”代表合并的第几次(合并树中块的级别)。原创 2023-08-06 06:45:00 · 165 阅读 · 0 评论 -
ClickHouse(十一):Clickhouse MergeTree系列表引擎 - MergeTree(1)
🏡个人主页:含各种IT体系技术,📌订阅:拥抱独家专题,你的订阅将点燃我的创作热情!✏️评论:留下心声墨迹,你的评论将是我努力改进的方向!在所有的表引擎中,最为核心的当属MergeTree系列表引擎,这些表引擎拥有最为强大的性能和最广泛的使用场合。对于非MergeTree系列的其他引擎而言,主要用于特殊用途,场景相对有限。而MergeTree系列表引擎是官方主推的存储引擎,有主键索引、数据分区、数据副本、数据采样、删除和修改等功能,支持几乎所有ClickHouse核心功能。原创 2023-08-05 21:57:53 · 789 阅读 · 0 评论 -
ClickHouse(十):Clickhouse表引擎 - Special系列表引擎
注意:当选择需要读取的表时,会匹配正则表达式匹配上的表,如果当前Merge表的名称也符合正则表达式匹配表名,这个Merge表本身会自动排除,以避免进入递归死循环,当然也可以创建两个相互无限递归读取对方数据的 Merge 表,但这并没有什么意义。Distributed是ClickHouse中分布式引擎,之前所有的操作虽然说是在ClickHouse集群中进行的,但是实际上是在node1节点中单独操作的,与node2、node3无关,使用分布式引擎声明的表才可以在其他节点访问与操作。读是自动并行的,不支持写入。原创 2023-08-03 09:15:00 · 94 阅读 · 0 评论 -
ClickHouse(九):Clickhouse表引擎 - Log系列表引擎
关注IT贫道,获取高质量博客内容!🏡个人主页:含各种IT体系技术,IT贫道_Apache Doris,Kerberos安全认证,大数据OLAP体系技术栈-CSDN博客📌订阅:拥抱独家专题,你的订阅将点燃我的创作热情!✏️评论:留下心声墨迹,你的评论将是我努力改进的方向!MySQL的数据表有InnoDB和MyISAM存储引擎,不同的存储引擎提供不同的存储机制、索引方式等功能,也可以称之为表类型。在ClickHouse中也有表引擎。表引擎在ClickHouse中的作用十分关键,直接决定了等。原创 2023-08-02 22:49:35 · 487 阅读 · 0 评论 -
ClickHouse(八):Clickhouse数据库引擎
🏡个人主页:含各种IT体系技术,📌订阅:拥抱独家专题,你的订阅将点燃我的创作热情!✏️评论:留下心声墨迹,你的评论将是我努力改进的方向!ClickHouse中支持在创建数据库时指定引擎,目前比较常用的两种引擎为默认引擎和MySQL数据库引擎。原创 2023-08-01 08:45:00 · 183 阅读 · 0 评论 -
ClickHouse(七):Clickhouse数据类型-2
Enum8和Enum16分别对应'String'=Int8和'String'=Int16,Enum8类型的每个值范围是-128 ... 127,Enum16类型的每个值范围是-32768 ... 32767,所有的字符串或者数字都必须是不一样的,允许存在空字符串,Enum类型中数字可以是任意顺序,顺序并不重要。向Enum字段中插入值时,可以插入枚举的字符串值也可以插入枚举对应的Int值,建议插入对应的字符串值,这样避免插入对应的Int值不在Enum枚举集合中再次查询表时报错。原创 2023-07-31 08:30:00 · 170 阅读 · 0 评论 -
ClickHouse(六):Clickhouse数据类型-1
🏡个人主页:含各种IT体系技术,📌订阅:拥抱独家专题,你的订阅将点燃我的创作热情!✏️评论:留下心声墨迹,你的评论将是我努力改进的方向!ClickHouse提供了许多数据类型,它们可以划分为基础类型、复合类型和特殊类型。我们可以在system.data_type_families表中检查数据类型名称以及是否区分大小写。这个表中存储了ClickHouse支持的所有数据类型。原创 2023-07-30 22:14:50 · 473 阅读 · 0 评论 -
ClickHouse(五):Clickhouse客户端命令行参数
🏡个人主页:含各种IT体系技术,📌订阅:拥抱独家专题,你的订阅将点燃我的创作热情!✏️评论:留下心声墨迹,你的评论将是我努力改进的方向!我们可以通过clickhouse client来连接启动的clickhouse服务,连接服务时,我们可以指定以下参数,这里指定的参数会覆盖默认值和配置文件中的配置。--host, -h服务端的host名称, 默认是localhost。您可以选择使用host名称或者IPv4或IPv6地址。--port连接的端口,默认值:9000。原创 2023-07-29 06:00:00 · 670 阅读 · 0 评论 -
ClickHouse(四):ClickHouse分布式搭建及其他
🏡个人主页:含各种IT体系技术,📌订阅:拥抱独家专题,你的订阅将点燃我的创作热情!✏️评论:留下心声墨迹,你的评论将是我努力改进的方向!原创 2023-07-28 06:45:00 · 266 阅读 · 0 评论 -
ClickHouse(三):ClickHouse单节点搭建
ClickHouse rpm安装包查询地址为:https://packagecloud.io/Altinity/clickhouse,这里需要在linux中使用wget命令下载对应的clickHouse版本。选择一台服务器创建/software目录并进入此目录,在当前目录下执行如下命令下载ClickHouse需要的rpm安装包,这里只需要下载以下四个rpm安装包即可。clickhouse-server:一个指向clickhouse可执行文件的软连接,供服务端启动使用。关注IT贫道,获取高质量博客内容!原创 2023-07-27 06:30:00 · 389 阅读 · 0 评论 -
ClickHouse(二):ClickHouse特性
关注IT贫道,获取高质量博客内容!🏡个人主页:含各种IT体系技术,📌订阅:拥抱独家专题,你的订阅将点燃我的创作热情!✏️评论:留下心声墨迹,你的评论将是我努力改进的方向!原创 2023-07-26 07:00:00 · 164 阅读 · 0 评论 -
ClickHouse(一):ClickHouse介绍及OLAP场景特征
批处理会将源业务系统中的数据通过数据抽取工具(例如Sqoop)将数据抽取到HDFS中,这个过程可以使用MapReduce、Spark、Flink技术对数据进行ETL清洗处理,也可以直接将数据抽取到Hive数仓中,一般可以将结构化的数据直接抽取到Hive数据仓库中,然后使用HiveSQL或者SparkSQL进行业务指标分析,如果涉及到的分析业务非常复杂,可以使用Hive的自定义函数或者Spark、Flink进行复杂分析,这就是我们通常说的数据指标分析。✏️评论:留下心声墨迹,你的评论将是我努力改进的方向!原创 2023-07-25 23:24:18 · 1293 阅读 · 0 评论