Hadoop集群部署方案分享

一、节点部署

1.基本概念

①管理节点：Management Node (MN)，用于安装集群的管理系统，对部署在集群中的节点及服务进行集中管理。

②控制节点：Control Node (CN)，控制节点控制并监控数据节点执行存储数据、接收数据、发送进程状态及完成控制节点的公共功能，包括HMaster、HiveServer、ResourceManager、NameNode、JournalNode、SlapdServer等。

③数据节点：Data Node (DN)，执行管理节点发出的指示，上报任务状态、存储数据，以及执行数据节点的公共功能，包括DataNode、RegionServer、NodeManager等。

2.部署方案

        ①管理节点、控制节点和数据节点分开部署（此方案至少需要8个节点）

        ②管理节点和控制节点合并部署，数据节点单独部署

        如需配置Federation（联邦），除默认的一对NameNode外，需要额外增加的NameNode对数为n，则控制节点需要额外增加的n×2个。

二、软件部署

1.软件使用

        基于华为FusionInsight MRS3.2.0产品

2.部署原则

集群中各服务（角色）之间存在依赖或者关联的关系：

• A依赖于B（服务级）：若集群中部署A服务，需要提前部署B服务，B为A提供基础能力。多服务场景下，若B部署了多套，需要指定A依赖的B服务实例。
• A关联于B（服务级）：A服务与B服务在业务进行中会产生数据交互，不存在部署上的依赖关系。多服务场景下，若B部署了多套服务实例，需要指定A关联的B服务实例。
• A与B共机部署（角色级）：若集群中部署A角色，需要同时部署B角色，且A与B需要部署在相同的节点上。

3.各服务角色的内存要求和部署原则

        关注依赖关系和角色部署原则，合理选择服务部署先后顺序和节点选择。