- 博客(6)
- 收藏
- 关注
RSS订阅原创 YARN 的 ResourceManager 失败后，如何恢复任务？
摘要：ResourceManager故障恢复流程分为四个阶段：1)故障检测与切换，通过ZKFC监控并选举新ActiveRM；2)新ActiveRM从持久化存储重建集群状态；3)与NodeManager重新同步，获取实时容器状态；4)恢复应用程序，根据状态对比结果决定是否重启AM或继续运行。该机制确保集群在RM故障时仍能保持可用性，但AM重启可能导致部分任务重新执行。（149字）
2025-09-16 20:02:45
116
原创 什么是 hdfs 的纠删码技术ErasureCoding？
HDFS纠删码是一种以计算换存储的数据保护技术，将数据编码为多个数据单元和校验单元，允许部分单元丢失后仍可恢复。相比传统3副本机制，纠删码显著降低存储成本（1TB数据只需约1.4TB空间），但恢复速度较慢。其工作流程包括：写入时先暂存副本，后台编码分发；读取时直接解码数据单元，故障时需重建丢失单元。纠删码与多副本互补，共同构建高性价比的分层存储系统，在保证可靠性的同时优化存储效率。
2025-09-16 19:54:10
227
原创 zookeeper的选举机制
Zookeeper采用快速领导者选举(FLE)算法实现集群Leader选举。选举基于Zxid(事务ID)和myid(服务器ID)两个关键信息，优先选择Zxid最大的节点，Zxid相同时选择myid较大的节点。选举过程分为投票发起、广播选票、选票比较和Leader确认四个阶段，通过TCP连接快速收敛投票结果。当选票超过半数节点统一时选举结束，新Leader负责数据同步和写请求处理。该算法确保了集群在Leader故障时能快速恢复服务，保证数据一致性。
2025-09-16 19:41:15
558
原创 yarn的三种调度器
摘要：三种调度器各有特点：FIFO按任务提交顺序执行，简单但易被大任务阻塞；容量调度器通过多通道避免阻塞，但需预留资源且大任务执行较慢；公平调度器动态平衡资源，保证任务公平共享但可能延长前期任务完成时间。FIFO适合简单场景，容量调度器适用于多任务混合，公平调度器则注重资源公平分配。
2025-09-15 19:51:36
88
原创 MapReduce的工作原理
摘要：MapTask处理数据时，通过FileInputFormat读取分片数据，每行生成(K,V)对（K为偏移量，V为行数据）。调用map方法处理后，数据经OutputCollector写入环形缓冲区（默认100M）。当缓冲区达80%时触发溢写，先分区（默认HashPartitioner）再排序（默认按key字典序快排）。溢写生成多个文件后，MapTask完成分片读取后合并文件并进行归并排序。该过程称为shuffle，涉及数据从map到reduce的传输。
2025-09-15 19:35:02
143
原创 inode与block详解
注：inode中并不包括文件名，其实文件名是存放在目录当中的，linux系统中一切皆文件，因此目录也是一种文件即查看目录中的文件，cd转目录后通过ls列目录里可以查看文件名，而我们每个inode都有一个号码，系统用inode号码识别不同的文件，系统内部不使用文件名，而使用inode号码来识别文件。用户通过文件名打开文件时，系统内部的过程（重要） 系统找到这个文件名对应的inode号码 通过inode号码，获取inode获取信息 根据inode信息，找到文件数据所在的block，读出数据。
2025-09-01 19:55:46
273
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人