越来越火的大数据时代,人工智能开创的时代,如何管理大数据集群成为一个非常重要的问题,现今通用的大数据平台大致的架构我简单说一下,希望对大家有帮助。
大数据集群架构大概分为3层
1、管理层(也就是所谓的manager界面),这一层主要是对集群服务的管理(比如说hdfs、yarn、hive、spark、hbase、solr、hue、oozie、zookeeper等),在这一层,可以对服务进行配置,节点管理,日志下载,角色分配等。
2、控制层,这一层主要是集群服务对数据节点的控制,如namenode,hive等组件对数据节点的控制。
3、计算层,这一层主要用于存储数据以及提供datanode计算。
下面为大家提供一个框架: