ClickHouse 是俄罗斯的Yandex 与2016年开源的雷士存储数据库(DBMS),使用C++语言编写,主要用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析的数据报告。
【其中列式存储如HBase】(MySQL属于行式存储)
【OLTP:想MySQL这样的可以更改数据(增删改查)的数据库】
【OLAP:一次插入,多次查询,更新、删除就不擅长】
一、ClickHouse特点
1.列式存储
一下列表为例:
以下为列式存储在磁盘的结构:
以下为行式存储在磁盘的结构:
向对比来说,列式存储查询数据会比较快一些,而行式存储则对于插入数据,可以直接在后面添加即可,所以行式存储插入数据会比较快些!
列式存储的好处:
- 对于列的聚合,技术,求和等统计操作原因优于行式存储。
- 由于某一列的数据类型是相同的,针对于数据存储更容易进行数据压缩,每一列选择更优的数据压缩算法,大大提高了数据压缩比重。
- 由于数据压缩比更好,一方面节省了磁盘空间,另一方面对于cache也有了更大的发挥空间。
2、DBMS的功能
几乎覆盖了标准SQL的大部分语法,包括DDL和DML,以及配套的各种函数,用户管理及权限管理,数据的备份与恢复。
3、多样化引擎
ClickHouse 和MySQL类似,把表级的存储引擎插件化,根据表的不同需求可以设定不同的存储引擎。目前包括 合并树、日志、接口和其他四大类20多种引擎。
【我们用的最多的还是 合并树(Merge Tree)】
4、高吞吐写入能力
ClickHouse 采用类 LSM Tree (HBase中用到的)的结构,数据写入后定期在后台Compaction(合并)。通过类LMS Tree 的结构,ClickHouse在数据导入时全部是顺序 append(追加) 写,写入后数据段不可更改,在后台 compaction 时也是多个段 merge sout 后顺序写回磁盘。顺序写的特性,充分利用了磁盘的吞吐能力,即便在 HDD 上也有有一的写入能力。
官方公开benchmark 测试显示能够达到 50MB-200MB/s的写入吞吐能力,按照每行100Byte 估算,大约相当于 50W-200W条/s的写入速度。