一篇文章搞定一个大数据组件：kudu知识点全集，2024年最新分享复习经验和后台开发面经

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

1、kudu的定位

=============

HDFS: 存储格式Textfile,Parquet,ORC，适合离线分析，不支持单条记录级别的update操作，随机读写性能差。

HBASE :可以进行高效随机读写，但写快读慢，大批量数据获取时的性能较差。并不适用于基于SQL的数据分析方向。

Kudu：

• 批量更新和单条记录更新都很友好  --FastData

• 与Impala组合使用，OLAP性能强大  --FastAnalytics

• 高可用

• 动态扩展

2、kudu基本概念

==============

• Table（表）：一张table是数据存储在kudu的位置。Table具有schema和全局有序的primarykey(主键)。

• Tablet(段)：一个tablet是一张table连续的segment，与其他数据存储引擎或关系型数据的partition相似。Tablet存在副本机制，其中一个副本为leadertablet。任何副本都可以对读取进行服务，并且写入时需要在所有副本对应的tabletserver之间达成一致性。

• Tabletserver：存储tablet和为tablet向client提供服务。对于给定的tablet，一个tabletserver充当leader，其他tabletserver充当该tablet的follower副本。只有leader服务写请求，leader与follower为每个服务提供读请求。

• Master：主要用来管理元数据(元数据存储在只有一个tablet的catalogtable中)，即tablet与表的基本信息，监听tserver的状态

• CatalogTable: 元数据表，用来存储table(schema、locations、states)与tablet（现有的tablet列表，每个tablet及其副本所处tserver，tablet当前状态以及开始和结束键）的信息。

3、存储架构

==========

•MemRowSet

用于新数据insert及已在MemRowSet中的数据的更新，一个MemRowSet写满后会将数据刷到磁盘形成若干个DiskRowSet。(默认是1G或者或者120S)

•DiskRowSet

用于老数据的变更（mutation），后台定期对DiskRowSet做compaction，以删除没用的数据及合并历史数据，减少查询过程中的IO开销。

•BloomFile

根据一个DiskRowSet中的key生成一个bloomfilter，用于快速模糊定位某个key是否在DiskRowSet中存在。

•Ad_hocIndex

主键的索引，用于定位key在DiskRowSet中的具体哪个偏移位置。

•BaseData

MemRowSet flush下来的数据，按列存储，按主键有序。

•UndoFile

基于BaseData之前时间的历史数据，通过在BaseData上applyUndoFile中的记录，可以获得历史数据。

•RedoFile

基于BaseData之后时间的变更（mutation）记录，通过在BaseData上applyRedoFile中的记录，可获得较新的数据。

•DeltaMem

用于DiskRowSet中数据的变更mutation，先写到内存中，写满后flush到磁盘形成RedoFile。

3.1 储存架构：Tablet

---

分区策略	Writes	Reads	Tablet Growth
Range	所有写入都会落到最新分区	可以通过分区键提高读能力	可添加新tablets
Hash	在tablets上均匀分布	可以通过分区键提高读能力	tablets会无限增长

Hash分区有利于提高写吞吐量Range分区可避免tablet无限增长问题，所以我们可以使用多级分区，组合这两种分区方式

3.2 储存架构：RowSets

---

Tablet在底层被进一步细分成了一个称之为RowSets的单元

•MemRowSet

用于新数据insert及已在MemRowSet中的数据的更新，一个MemRowSet写满后会将数据刷到磁盘形成若干个DiskRowSet。(默认是1G或者或者120S)

•DiskRowSet

用于老数据的变更（mutation），后台定期对DiskRowSet做compaction，以删除没用的数据及合并历史数据，减少查询过程中的IO开销。

3.3 储存架构：DiskRowSets

---

DiskRowSet分为了两部分：basedata、deltastores。basedata 负责存储基础数据，deltastores负责存储 basedata 中的变更数据

4、kudu工作原理

==============

4.1 Compaction

---

由于所有插入的数据都是先写入memRowSet，到达一定条件后再写入DiskRowSet，而且DiskRowSet中的basedata是不变的，这就导致会出现数据重叠的现象，导致写或查询时需要搜索大量的DiskRowSet

三种Compaction策略：

DiskRowSet Compaction：减少DiskRowSet数量，优化insert、update和scans时间。

Minor Delta Compaction：只减少delta file数量，优化scans时间。

Major Delta Compaction：对base data和delta file进行compaction，优化scans时间

4.2 Tablet切分规则

---

建表时指定分区策略

Hash Partitioning：哈希分区通过哈希值将行分配到某一个bucket，每个bucket对应一个tablet，建表时设置bucket的数量。

Range Partitioning：range partition使用完全有序的分区键来分配行，分区键必须是kudu表主键的子集。

DEMO:

CREATE TABLE cust_behavior (

_id BIGINT PRIMARY KEY,

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

or (

_id BIGINT PRIMARY KEY,

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
[外链图片转存中…(img-LabF36X2-1713168501347)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！