一篇文章搞定一个大数据组件：kudu知识点全集

MemRowSet flush下来的数据，按列存储，按主键有序。

•UndoFile

基于BaseData之前时间的历史数据，通过在BaseData上applyUndoFile中的记录，可以获得历史数据。

•RedoFile

基于BaseData之后时间的变更（mutation）记录，通过在BaseData上applyRedoFile中的记录，可获得较新的数据。

•DeltaMem

用于DiskRowSet中数据的变更mutation，先写到内存中，写满后flush到磁盘形成RedoFile。

3.1 储存架构：Tablet

---

分区策略	Writes	Reads	Tablet Growth
Range	所有写入都会落到最新分区	可以通过分区键提高读能力	可添加新tablets
Hash	在tablets上均匀分布	可以通过分区键提高读能力	tablets会无限增长

Hash分区有利于提高写吞吐量Range分区可避免tablet无限增长问题，所以我们可以使用多级分区，组合这两种分区方式

3.2 储存架构：RowSets

---

Tablet在底层被进一步细分成了一个称之为RowSets的单元

•MemRowSet

用于新数据insert及已在MemRowSet中的数据的更新，一个MemRowSet写满后会将数据刷到磁盘形成若干个DiskRowSet。(默认是1G或者或者120S)

•DiskRowSet

用于老数据的变更（mutation），后台定期对DiskRowSet做compaction，以删除没用的数据及合并历史数据，减少查询过程中的IO开销。

3.3 储存架构：DiskRowSets

---

DiskRowSet分为了两部分：basedata、deltastores。basedata 负责存储基础数据，deltastores负责存储 basedata 中的变更数据

4、kudu工作原理

==============

4.1 Compaction

---

由于所有插入的数据都是先写入memRowSet，到达一定条件后再写入DiskRowSet，而且DiskRowSet中的basedata是不变的，这就导致会出现数据重叠的现象，导致写或查询时需要搜索大量的DiskRowSet

三种Compaction策略：

DiskRowSet Compaction：减少DiskRowSet数量，优化insert、update和scans时间。

Minor Delta Compaction：只减少delta file数量，优化scans时间。

Major Delta Compaction：对base data和delta file进行compaction，优化scans时间

4.2 Tablet切分规则

---

建表时指定分区策略

Hash Partitioning：哈希分区通过哈希值将行分配到某一个bucket，每个bucket对应一个tablet，建表时设置bucket的数量。

Range Partitioning：range partition使用完全有序的分区键来分配行，分区键必须是kudu表主键的子集。

DEMO:

CREATE TABLE cust_behavior (

_id BIGINT PRIMARY KEY,

skuSTRING,

rating INT,

fulfilled_dateBIGINT

)

PARTITION BY RANGE(_id)

(

PARTITION VALUES< 1439560049342,

PARTITION1439560049342 <= VALUES < 1439566253755,

PARTITION1439566253755 <= VALUES < 1439572458168,

PARTITION1439572458168 <= VALUES < 1439578662581,

PARTITION1439578662581 <= VALUES < 1439584866994,

PARTITION1439584866994 <= VALUES < 1439591071407,

PARTITION1439591071407 <= VALUES

)

STORED AS KUDU;

4.3 kudu写过程：insert

---

Kudu与HBase不同，Kudu将写入操作分为两种：一种是插入新数据，另一种是更新数据

1、客户端连接Master获取表的相关信息，包括分区信息，表中所有tablet的信息；

2、客户端找到负责处理读写请求的tablet所负责维护的TServer。Kudu接受客户端的请求，检查请求是否符合要求（表结构）；

3、Kudu在Tablet中的所有rowset（memrowset,diskrowset）中进行查找，看是否存在与待插入数据相同主键的数据，如果存在就返回错误，否则继续；

4、Kudu在MemRowset中写入一行新数据，在MemRowset数据达到一定大小时，MemRowset将数据落盘，并生成一个diskrowset用于持久化数据，还生成一个memrowset继续接收新数据的请求。

4.4 kudu写过程：update

---

4.5 Kudu读过程

---

1、客户端连接Master获取表的相关信息，包括分区信息，表中所有tablet的信息；

2、客户端找到需要读取的数据的tablet所在的TServer，Kudu接受读请求，并记录timestamp信息，如果没有显式指定，那么表示使用当前时间；

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

-FTeyw74b-1714462656402)]
[外链图片转存中…(img-aOh6QMaC-1714462656403)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取