本文详细探讨了Hadoop的高可用性（HA）机制，包括NameNode的故障迁移过程，联盟原理，以及负载均衡策略。此外，还介绍了HDFS启动的四个阶段、日志合并过程，以及MapReduce、YARN调度、Shuffle、HDFS上传和下载的图解说明，帮助读者深入理解Hadoop数据仓库和免密登录的工作流程。
hadoop的HA
图解
失败迁移
当active状态的NameNode由于不可预知的原因突然挂掉时，ZK收不到心跳反馈，超过配置的最大等待时间后，将原来standby状态的NameNode置为Active状态，这时由新的Active的NameNode来想JurnalNode中写入日志文件，并响应客户端的请求
hadoop的联盟（Federation）
图解
负载均衡
每个NameNode 默认由1000M的缓存，多个NameNode可以加大这个缓存，从而提高查询速度
启动阶段
HDFS的启动有四个阶段
- 加载fsimage （nameNode完成）
- 加载edits (nameNode完成)
- saving checkpoint (保存检查点，合并日志–有seconderyNameNode 来完成)
- safemode
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
