ClickHouse是一个面向列的数据库管理系统(DBMS),用于在线分析处理查询(OLAP)。
在“正常”面向行的DBMS中,数据按以下顺序存储:
换句话说,与行相关的所有值物理地彼此相邻地存储。
面向行的DBMS的示例是MySQL,Postgres和MS SQL Server。
在面向列的DBMS中,数据存储如下:
这些示例仅显示数据的排列顺序。不同列的值分别存储,同一列的数据存储在一起。
OLAP场景的关键属性
绝大多数请求都是读取访问权限。
数据以相当大的批次(> 1000行)更新,而不是单行更新; 或者它根本没有更新。
数据已添加到数据库,但未进行修改。
对于读取,从DB中提取了相当多的行,但只提取了一小部分列。
表格“宽”,意味着它们包含大量列。
查询相对较少(通常每台服务器数百个查询或每秒更少)。
对于简单查询,允许延迟大约50毫秒。
列值相当小:数字和短字符串(例如,每个URL 60个字节)。
处理单个查询时需要高吞吐量(每台服务器每秒最多数十亿行)。
交易不是必需的。
对数据一致性要求低。
每个查询有一个大表。所有表都很小,除了一个。
查询结果明显小于源数据。换句话说,数据被过滤或聚合,因此结果适合单个服务器的RAM。
为什么面向列的数据库在OLAP场景中更好地工作
面向列的数据库更适合OLAP场景:它们在处理大多数查询时至少快100倍
对于分析查询,只需要读取少量表列。在面向列的数据库中,您只能读取所需的数据。例如,如果您需要100列中的5列,则可以预期I / O减少20倍。
由于数据以数据包形式读取,因此更容易压缩。列中的数据也更容易压缩。这进一步减少了I / O量。
由于I / O减少,更多数据适合系统缓存。
例如,查询“计算每个广告平台的记录数”需要读取一个“广告平台ID”列,该列占用未压缩的1个字节。如果大部分流量不是来自广告平台,则可以预期此列的压缩率至少为10倍。当使用快速压缩算法时,数据解压缩可以每秒至少几千兆字节的未压缩数据的速度进行。换句话说,可以在单个服务器上以每秒大约几十亿行的速度处理该查询。这种速度实际上是在实践中实现的。