Hadoop模块:各个角色的作用

##Hadoop按照功能分的三大模块介绍
HDFS:hadoop的分布式文件系统
运行架构:
在这里插入图片描述
主从架构
主:namenode 一个 单点故障 管理的作用
助理:
secondarynamenode:帮助namenode备份数据 但是接替不了namenode的工作
从:datanode 多个
存储数据的 干活的
MAPREDUCE:分布式计算的代码
应用程序 什么时候执行 什么时候启动(代码 数据 资源)
YARN:资源调度的
为每一个应用程序 进行资源的分配的
主从结构:
主:resourcemanager
资源分配的老大 负责资源的分配
从:nodemanager
服从resourcemanager的安排 为应用程序提供资源
## HDFS各个角色的作用
namenode:
1)接受客户端的读写请求
2)管理元数据信息
3)接受datanode的心跳报告
4)负载均衡
5)负责数据块的副本的存储节点的分配

datanode:
1)处理客户端的读写请求
2)真正的进行数据块的存储
3)向namenode发送心跳报告
4)进行副本的复制

secondarynamenode:
1)帮助namenode备份元数据信息 冷备份
备份的元数据信息是否是最新的
有一定的数据延迟的 可能造成数据丢失
2)帮助namenode进行元数据合并 减轻namenode的压力

客户端:
1)发送读写请求
2)对上传的文件进行逻辑切块 和物理切块
3)向namenode反馈数据上传 下载的响应

YARN 各个角色的作用
集群的主节点 ResourceManager 的职责:
1、处理客户端请求
2、启动或监控 MRAppMaster
3、监控 NodeManager的健康状况 nodemanager定期的向resourcemanager进行发送心跳报告
4、资源的分配与调度

nodemanager的职责:
1、管理单个节点上的资源
2、处理来自 ResourceManager 的命令 (启动mrappmaster的时候)
3、处理来自 MRAppMaster 的命令(启动maptask reducetask任务的时候)

  • 2
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值