Apache Kudu 是一个分布式,可水平扩展的列式存储系统,它完善了 Hadoop 的存储层,可对快速变化数据进行快速分析。
Kudu 基本特点
高效处理类 OLAP 负载。
与 MapReduce、Spark 以及 Hadoop 生态系统中其他组件进行友好集成。
可与 Impala 集成,替代目前 Impala 常用的 HDFS + Parquet 组合。
灵活的一致性模型。
顺序写和随机写并存的场景下,仍能达到良好的性能。
高可用,使用 Raft 协议保证数据高可靠存储。
结构化数据模型。
Kudu 使用场景
适用于那些既有随机访问,也有批量数据扫描的复合场景。
高计算量的场景。
实时预测模型的应用,支持根据所有历史数据周期地更新模型。
支持数据更新,避免数据反复迁移。
支持跨地域的实时数据备份和查询。
Kudu 基本架构
Kudu 包含如下两种类型的组件:
master 主要负责管理元数据信息、监听 server,当 server 宕机后负责 tablet 的重分配。
tserver 主要负责 tablet 的存储与数据的增删改查。