认识Hadoop（二）

集群简介

Hadoop集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。

HDFS集群负责海量数据的存储，集群中的角色主要有：Name Node、DATa Node、SecondaryNameNode。

YARN集群负责海量数据运算时的资源调度，集群中的角色主要有：Resource Manager、Node Manager。

Hadoop部署方式分为三种：

Standalone mode（独立模式）：仅1个机器运行1个Java进程，主要用于调试。

Pseudo-Distributed mode（伪分布式模式）：也是在1个机器上运行HDFS的Name Node和Data Node、YARN的Resource Manager和Node Manager，但分别启动单独的Java进程，主要用于调试。

Cluster mode（集群模式）：集群模式主要用于生产环境部署。会使用N台主机组成一个Hadoop集群，这种部署模式下，主节点和从节点会分开部署在不同的机器上。