haveanybody的博客

ClickHouse Projection的原理和使用

ClickHouse支持创建普通视图(normal view)、物化视图(materialized view)、实时视图(live view)和窗口视图(window view)。

ClickHouse主要有两种函数：常规函数和聚合函数，除此之外，还有 ‘arrayJoin’ 等特殊函数，我们将分别介绍。需要注意的是ClickHouse具有强类型限制，换句话说，它不进行类型之间的隐式转换，每个函数都适用于特定的类型参数。这意味着有时需要使用类型转换函数。如果下面函数执行报错，则可能是clickhouse版本不支持。toTypeName(0)1. 算术函数对于所有算术函数，计算结果类型向上兼容。SELECT toTypeName(0), toTypeName(0 + 0), t

前面我们已经介绍过 ClickHouse 是列式存储数据库，并且是按照有序存储、且按照索引粒度建立稀疏索引，所以 ClickHouse 是不擅长做 update/delete 操作的，对于需要经常变化的数据，也不建议使用clickhouse。但是并不是说clickhouse就不能更新数据，clickhouse提供了一种基于alter语句的“突变”（mutations）操作来实现更新/删除操作。在使用mutations操作之前需要注意：mutations操作需要重置分区，是一种“很重”的操作，更适用于操作

在前一篇文章《ClickHouse MergeTree表引擎和建表语句》中，我们详细介绍了MergeTree的建表语句、存储结构和索引原理，本篇我们继续介绍MergeTree的另一个特性——二级索引，二级索引适用于所有MergeTree家族表引擎。在某些版本中，默认可能没有开启二级索引，可以通过下面的设置开启二级索引。SET allow_experimental_data_skipping_indices=1;在继续介绍之前我们先来回顾一下MergeTree的查询过程：当我们通过主键进行查询时

​ClickHouse查询语句兼容大部分SQL语法，并且进行了更加丰富的扩展，查询语句模板如下：[WITH expr_list|(subquery)]SELECT [DISTINCT [ON (column1, column2, ...)]] expr_list[FROM [db.]table | (subquery) | table_function] [FINAL][SAMPLE sample_coeff][ARRAY JOIN ...][GLOBAL] [ANY|ALL|ASOF] [IN

ClickHouse支持非常丰富的数据类型，如果从数据类型和函数的角度去考虑，甚至可以认为ClickHouse SQL是一门编程语言。

在前面的文章中我们详细介绍了 MergeTree 表引擎、MergeTree 家族其他表引擎、MergeTree 二级索引等内容，clickhouse数据库都是在单节点上运行的，作为OLAP处理的大数据利器，clickhouse 显然少了两个功能——数据高可用（HA）和横向扩展。HA的目的是为了如果有一个数据副本丢失或者损坏不至于完全丢失数据，至于横向扩展自然是为了提高数据存储能力了。1. MergeTree副本表ClickHouse MergeTree 副本表的数据一致性同步是通过Zookeeper实

在前面的文章中，我们详细介绍了ClickHouse MergeTree表引擎的使用场景、原理、数据存储结构、建表语句以及索引优化。详见《ClickHouse MergeTree表引擎和建表语句》、《ClickHouse MergeTree二级索引/跳数索引》。MergeTree引擎表是使用最为广泛的表，除了MergeTree引擎表以外，MergeTree家族还有一些特殊的表引擎，在一些特殊场景中能够表现出更好地性能。例如，统计电商平台每天的销售额等。1. AggregatingMergeTree作为M

clickhouse使用场景ClickHouse是由俄罗斯Yandex公司开发的、面向列的数据库管理系统(DBMS)，主要面向OLAP场景，用于在线分析处理查询，可以使用SQL查询实时生成数据分析结果。列式存储的好处就是当我们对列进行聚合等操作时，效率会大大优于行式存储，而且由于每一列的类型都是相同的，所以对于数据存储更容易进行压缩，可以对不同类型的列选择更合适的压缩算法，节约资源。clickhouse的设计也处处体现了俄罗斯的暴力美学，它不仅仅是一个数据库，还是一个数据库管理系统，后面我们在介绍基于S