hadoop 2.x版本的结构架构

hadoop主要有两个系统组成。文件存储系统,资源调度系统。
文件存储系统HDFS:namenode 主节点 主要用于维护元数据信息。
secondaryNamenode 辅助namenode 管理元数据信息。
datanode 存储各种各样的数据。

资源调度系统 yarn平台
resourceManager 主要两个作用,接受用户的计算任务请求,分配资源。
nodeManager 主要用于接受applicationMaster分配的任务
applicationMaster resourceManager 为每一个applicationMaster为每一个计算任务启动一个appliacationMaster,applicationMaster主要负责资源的申请,任务的分配。

1如果高可用的情况下 有点小变化。HDFS系统没有secondaryNamenode,会有一个journalnode来取代其功能。主要用来同步元数据信息,保证两个namenode元数据信息是一致的。并且journalnode需要奇数个,半数以上的journalNode写入元数据成功,就代表写入成功。
2 nameNode active状态:主要负责用户的写请求
nameNode standBy状态:主要负责瞄着active什么时候死了,赶紧上位
两个namenode组成主备的架构

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值