clickhouse 技术

clickhouse olap分析利器

设计思路

1、内存 + 磁盘：保证处理效率，也保证数据安全
2、内存：必须经过设计，具备优秀的数据结构，保证基本的读写高效，甚至为了不同的需求，可以让读写效
率倾斜。
3、磁盘：数据必须存放在磁盘，保证数据安全。磁盘数据文件必须经过精心设计，保证扫描磁盘数据文件的
高效率
4、数据排序：在海量数据中要想保证低延时的随机读写操作，数据最好是排序的
5、范围分区：当数据排序之后，可以进行范围分区，来平摊负载，让多台服务器联合起来对外提供服务
6、跳表：基于数据排序+范围分区构建索引表，形成跳表的拓扑结构，方便用户操作时快速定位数据分区的位
置
7、LSM-Tree存储引擎：把随机写变成顺序追加，在通过定期合并的方式来合并数据，去除无效数据，从而实
现数据的删除和修改。