manager大数据架构

越来越火的大数据时代,人工智能开创的时代,如何管理大数据集群成为一个非常重要的问题,现今通用的大数据平台大致的架构我简单说一下,希望对大家有帮助。

大数据集群架构大概分为3层

1、管理层(也就是所谓的manager界面),这一层主要是对集群服务的管理(比如说hdfs、yarn、hive、spark、hbase、solr、hue、oozie、zookeeper等),在这一层,可以对服务进行配置,节点管理,日志下载,角色分配等。

2、控制层,这一层主要是集群服务对数据节点的控制,如namenode,hive等组件对数据节点的控制。

3、计算层,这一层主要用于存储数据以及提供datanode计算。

下面为大家提供一个框架:




  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值