Hadoop各个模块的架构(分布式)功能

分布式


    相对于集中式:
    集中式:
                 一台计算机:将所有东西(软件)放在此计算上(安装)
    分布式:
                 多台机器:将东西进行划分,每台机器存储一部分


    主从架构:
        主节点:master
                    管理者,调度者
        从节点:slaves
                    被管理者,工作具体实施者

分布式文件系统HDFS

    主节点:
                 NameNode
                 将存储的文件划分为block块进行存储(128MB);
                 每个block副本是3个;
                 三个功能:
                                1.管理所有从节点;
                                2.存储元数据;
                                3.接收客户端的请求;
    从节点:
                 DataNodeS                                                                                                                                                                                         功能:
                          管理存储在当前DataNode运行的 机器上block;

分布式集群资源管理YARN

    管理集群资源 【任务(job)调度】
    主节点:resourceManager
                 管理这个集群的资源
                 接收客户端提交的应用
    从节点:nodeManager
                 管理当前节点(每台机器)上资源
注意:在企业部署Hadoop机器的时候,其中HDFS的从节点DataNode和YARN从节点NodeManager基本上出现在一台机器上,为了充分利用集群资源。

 

 

 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值