clickhouse 特性——clickhouse 基础篇（一）

最新推荐文章于 2024-05-28 09:55:27 发布

一切如来心秘密

最新推荐文章于 2024-05-28 09:55:27 发布

阅读量913

点赞数 15

分类专栏： # clickhouse 文章标签： clickhouse

本文链接：https://blog.csdn.net/qq_42586468/article/details/139072235

版权

clickhouse 专栏收录该内容

15 篇文章 2 订阅

订阅专栏

文章目录

列式存储
向量化查询执行引擎
数据压缩
使用磁盘
支持SQL
实时数据更新

列式存储

列式存储的目的有两个，一是缩小数据扫描范围，二是减少数据传输大小， 因此列存储和数据压缩通常是伴生的，列存储是数据压缩的前提。列存储的好处简单总结如下：

将I/O限制为实际需要的数据，仅加载需要访问的列。
节省空间，列存储更容易压缩。
便于压缩编码。
适用于向量化执行引擎。

Parquet 目前比较最流行的列式存储，提供了高效的列式存储数据表达能力，目前在大数据存储生态中被各个开源项目广泛使用，下边是 Parquet 文件存储模型图：
各组件功能说明：

clickhouse 的默认存储格式是 Parquet, 并且支持 Parquet 格式的文件操作，包括导入导出 clickhouse。

向量化查询执行引擎

数据库查询执行模型主要有3种：火山模型(Volcano Model)、物化模型(Materializa-tion Model)、向量化模型(Vectoried Model)。
火山模型

缺点：火山模型就是将SQL 转化为一棵语法树，需要一个节点一个节点的解析，每个节点都有一个输入和输出数据，每次只能处理一条数据，效率低，我们常用的 MySQL 就是该模型。
优点: 处理逻辑清晰，每个节点只要关心自己的处理逻辑即可，耦合性低。

物化模型

每个节点一次处理所有的输入，处理完之后将所有结果一次性输出。

向量化模型

每个节点每次处理一批数据，而不是所有数据和一条数据，属于火山模型和物化模型的折中。clickhouse 和 Presto 和许多其他 OLAP 系统就是使用的该模型。
在向量化模型中，每次处理包含多行记录的一批数据，每一批数据中的每一列都会被存储为一个向量（一个原始数据类型的数组），从而极大地减少了执行过程中的方法调用、反序列化和不必要的if-else操作，大大减少了CPU的使用时间，如下图所示：

从上图我们也可以看出要想使用向量化查询，我们就必须使用列式存储。
向量化模型充分利用了现代计算机的向量化计算：
VectorWise的基本思想

将压缩的列数据整理成现代CPU容易处理的数据向量模式，利用现代CPU的SIMD（Single Instruction Multiple Data，单指令多数据流）技术，每次处理一批向量数据，极大地提高了处理效率。
单指令流(Single Instruction)是指同时只能执行一种操作，多数据流(Multiple Data)则是指在一组同构的数据（通常称为数据向量）上进行操作。

clickhouse 领先其他 OLAP 引擎的特性之一

最大限度地提高硬件（尤其是CPU）的性能，实现了向量化查询执行(Vectorized Query Execution)机制（也叫向量化计算(Vectorization)、向量化操作(Vectorized Operation)、向量编程(Vector Programming)等），将多次for循环计算转化为一次并行计算。