HDFS集群负责海量数据的存储:NameNode,DataNode,SecondaryNameNode
YARN集群负责海量数据运算时的任务调度与资源调度:ResourceManager,NodeManager
HDFS集群与YARN集群逻辑上分离,物理上常在一起。
Hadoop三种部署模式:
1.单机模式(独立模式):1个机器运行1个java进程,主要用于调试
2.伪分布式模式:1个机器上运行HDFS的NameNode和DataNode,YARN的ResourceManager和NodeManager,但分别启动单独的java进程
3.集群模式:生产环境部署,N台主机组成一个Hadoop集群。主节点和从节点会分开部署在不同的机器上。