超级会员免费看
本文深入介绍了Hadoop的三个核心组件：分布式存储系统HDFS，资源管理系统YARN和分布式计算框架MapReduce。HDFS提供高可靠性和扩展性，适合大规模数据存储；YARN负责集群资源管理和调度，支持多种计算框架；MapReduce则适用于PB级别数据的离线处理。文章还详细阐述了HDFS的副本放置策略和YARN的工作流程。
Hadoop核心组件介绍
分布式存储系统HDFS（Hadoop Distributed File System）
分布式存储系统
提供了高可靠性、高扩展性和高吞吐率的数据存储服务
资源管理系统YARN（Yet Another Resource Negotiator）
负责集群资源的统一管理和调度
分布式计算框架MapReduce
分布式计算框架
具有易于编程、高容错性和高扩展性等优点
2.HDFS的简介
Hadoop核心组件介绍
源自于Google的GFS论文
发表于2003年10月
HDFS是GFS克隆版
两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息，并且一直监控edit log的变化，把变化应用于自己的命名空间。standby可以确保在集群出错时，命名空间状态已经完全同步了。
HealthMonitor由一个loop循环的调用一个monitorHealth rpc来检视本地的NN的健康性。如果NN返回的状态信息发生变化，那么它将经由callback的方式向ZKFC发送message。
HDFS特点
良好的扩展性
高容错性
适合PB级以上海量数据的存储
订阅专栏 解锁全文
扫一扫
497
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
