KUDU学习笔记

Kudu

现存系统针对结构化数据存储与查询的一些痛点问题，结构化数据的存储，通常包含如下两种方式：

• 静态数据通常以Parquet/Carbon/Avro形式直接存放在HDFS中，吞吐能力大，适合离线分析，随机读写能力差，难以支持单条记录级别的更新。
• 可变数据的存储通常选择面向列族的HBase或者Cassandra，高效随机读写，吞吐能力小，不适合离线分析场景。

Kudu的设计是结合了Hbase的高效随机读写和HDFS高吞吐能力一种折中处理，既能支持OLTP型实时读写能力又能支持OLAP型分析。另外一个初衷Kudu作为一个新的分布式存储系统期望有效提升CPU的使用率，而低CPU使用率恰是HBase/Cassandra等系统的最大问题。

 

Kudu架构

Kudu采用了Master-Slave主从架构，一个table表会按照主键进行hash/或者range（分区）划分出多个小的tablet（相当于Hbase里的Region），每个小的tablet会对应多个副本（其中1个Leader tablet用于读写，其他的副本为Follower tablet用于只读），这个小的tablet会分到各个Tablet Server 中，这些tablet相关信息存储在Master Server中（1个Leader多个Follower）。