用于老数据的变更(mutation),后台定期对DiskRowSet做compaction,以删除没用的数据及合并历史数据,减少查询过程中的IO开销。
•BloomFile
根据一个DiskRowSet中的key生成一个bloomfilter,用于快速模糊定位某个key是否在DiskRowSet中存在。
•Ad_hocIndex
主键的索引,用于定位key在DiskRowSet中的具体哪个偏移位置。
•BaseData
MemRowSet flush下来的数据,按列存储,按主键有序。
•UndoFile
基于BaseData之前时间的历史数据,通过在BaseData上applyUndoFile中的记录,可以获得历史数据。
•RedoFile
基于BaseData之后时间的变更(mutation)记录,通过在BaseData上applyRedoFile中的记录,可获得较新的数据。
•DeltaMem
用于DiskRowSet中数据的变更mutation,先写到内存中,写满后flush到磁盘形成RedoFile。
3.1 储存架构:Tablet
分区策略 | Writes | Reads | Tablet Growth |
Range | 所有写入都会落到最新分区 | 可以通过分区键提高读能力 | 可添加新tablets |
Hash | 在tablets上均匀分布 | 可以通过分区键提高读能力 | tablets会无限增长 |
Hash分区有利于提高写吞吐量Range分区可避免tablet无限增长问题,所以我们可以使用多级分区,组合这两种分区方式
3.2 储存架构:RowSets
Tablet在底层被进一步细分成了一个称之为RowSets的单元
•MemRowSet
用于新数据insert及已在MemRowSet中的数据的更新,一个MemRowSet写满后会将数据刷到磁盘形成若干个DiskRowSet。(默认是1G或者或者120S)
•DiskRowSet
用于老数据的变更(mutation),后台定期对DiskRowSet做compaction,以删除没用的数据及合并历史数据,减少查询过程中的IO开销。
3.3 储存架构:DiskRowSets
DiskRowSet分为了两部分:basedata、deltastores。basedata 负责存储基础数据,deltastores负责存储 basedata 中的变更数据
4、kudu工作原理
==============
4.1 Compaction
由于所有插入的数据都是先写入memRowSet,到达一定条件后再写入DiskRowSet,而且DiskRowSet中的basedata是不变的,这就导致会出现数据重叠的现象,导致写或查询时需要搜索大量的DiskRowSet
三种Compaction策略:
DiskRowSet Compaction:减少DiskRowSet数量,优化insert、update和scans时间。
Minor Delta Compaction:只减少delta file数量,优化scans时间。
Major Delta Compaction:对base data和delta file进行compaction,优化scans时间
4.2 Tablet切分规则
建表时指定分区策略
Hash Partitioning:哈希分区通过哈希值将行分配到某一个bucket,每个bucket对应一个tablet,建表时设置bucket的数量。
Range Partitioning:range partition使用完全有序的分区键来分配行,分区键必须是kudu表主键的子集。
DEMO:
CREATE TABLE cust_behavior (
_id BIGINT PRIMARY KEY,
skuSTRING,
rating INT,
fulfilled_dateBIGINT
)
PARTITION BY RANGE(_id)
(
PARTITION VALUES< 1439560049342,
PARTITION1439560049342 <= VALUES < 1439566253755,
PARTITION1439566253755 <= VALUES < 1439572458168,
PARTITION1439572458168 <= VALUES < 1439578662581,
PARTITION1439578662581 <= VALUES < 1439584866994,
PARTITION1439584866994 <= VALUES < 1439591071407,
PARTITION1439591071407 <= VALUES
)
STORED AS KUDU;
4.3 kudu写过程:insert
Kudu与HBase不同,Kudu将写入操作分为两种:一种是插入新数据,另一种是更新数据
1、客户端连接Master获取表的相关信息,包括分区信息,表中所有tablet的信息;
2、客户端找到负责处理读写请求的tablet所负责维护的TServer。Kudu接受客户端的请求,检查请求是否符合要求(表结构);
3、Kudu在Tablet中的所有rowset(memrowset,diskrowset)中进行查找,看是否存在与待插入数据相同主键的数据,如果存在就返回错误,否则继续;
4、Kudu在MemRowset中写入一行新数据,在MemRowset数据达到一定大小时,MemRowset将数据落盘,并生成一个diskrowset用于持久化数据,还生成一个memrowset继续接收新数据的请求。
4.4 kudu写过程:update
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数大数据工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
数据开发知识点,真正体系化!**
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
[外链图片转存中…(img-yL0VVsXp-1713002897658)]
一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!