ClickHouse简介(1)

ClickHouse 是俄罗斯的Yandex 与2016年开源的雷士存储数据库(DBMS),使用C++语言编写,主要用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析的数据报告。

        【其中列式存储如HBase】(MySQL属于行式存储)

        【OLTP:想MySQL这样的可以更改数据(增删改查)的数据库

        【OLAP:一次插入,多次查询,更新、删除就不擅长】

一、ClickHouse特点

        1.列式存储

一下列表为例:

以下为列式存储在磁盘的结构:

以下为行式存储在磁盘的结构:

向对比来说,列式存储查询数据会比较快一些,而行式存储则对于插入数据,可以直接在后面添加即可,所以行式存储插入数据会比较快些!

列式存储的好处:

  • 对于列的聚合,技术,求和等统计操作原因优于行式存储。
  • 由于某一列的数据类型是相同的,针对于数据存储更容易进行数据压缩,每一列选择更优的数据压缩算法,大大提高了数据压缩比重。
  • 由于数据压缩比更好,一方面节省了磁盘空间,另一方面对于cache也有了更大的发挥空间。

2、DBMS的功能

        几乎覆盖了标准SQL的大部分语法,包括DDL和DML,以及配套的各种函数,用户管理及权限管理,数据的备份与恢复。

3、多样化引擎

        ClickHouse 和MySQL类似,把表级的存储引擎插件化,根据表的不同需求可以设定不同的存储引擎。目前包括 合并树、日志、接口和其他四大类20多种引擎。

【我们用的最多的还是 合并树(Merge Tree)】

4、高吞吐写入能力

ClickHouse 采用类 LSM Tree (HBase中用到的)的结构,数据写入后定期在后台Compaction(合并)。通过类LMS Tree 的结构,ClickHouse在数据导入时全部是顺序 append(追加) 写,写入后数据段不可更改,在后台 compaction 时也是多个段 merge sout 后顺序写回磁盘。顺序写的特性,充分利用了磁盘的吞吐能力,即便在 HDD 上也有有一的写入能力。

        官方公开benchmark 测试显示能够达到 50MB-200MB/s的写入吞吐能力,按照每行100Byte 估算,大约相当于 50W-200W条/s的写入速度。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值