Hadoop架构

Hadoop1.x

hadoop 1.x :由hdfs(分布式文件存储系统)与MapReduce(分布式计算框架)组成
在这里插入图片描述
HDFS节点:
1. namenode(主节点)
负责管理整个HDFS集群,维护和管理元数据(用来描述数据的数据, 例如:文件路径,创建时间等).
2. secondarynamenode(辅助节点)
负责辅助namenode管理元数据
3. datanode(从节点)
负责存储具体的数据, 负责数据的读写操作.

MapReduce节点:
1. jobtracker(主节点)
负责分配和管理资源, 负责任务的接收,分配和监控.
2. tasktracker(从节点)
负责具体任务的执行

Hadoop 2.x

hadoop 2.x :由hdfs(分布式文件存储系统)与yarn集群构成,严格来说,此时已经没有MapReduce集群的概念了,它只是一个组件,用来执行具体的任务.
在这里插入图片描述
HDFS节点:
1. namenode(主节点)
负责管理整个HDFS集群,维护和管理元数据(用来描述数据的数据, 例如:文件路径,创建时间等).
2. secondarynamenode(辅助节点)
负责辅助namenode管理元数据
3. datanode(从节点)
负责存储具体的数据, 负责数据的读写操作.

Yarn节点:
1. resourcemanage(主节点)
负责资源的分配,任务的接收
2. appmaster(进程)
负责任务的分配, 他是运行在nodemanager上的
3. nodemanager(从节点)
负责具体任务的执行

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值