hadoop的进程

Hadoop进程：

1、Namenode

没有Namenode，HDFS就不能工作。事实上，如果运行namenode的机器坏掉的话，系统中的文件将会完全丢失，因为没有其他方法能够将位于不同datanode上的文件块(blocks)重建文件。因此，namenode的容错机制非常重要，Hadoop提供了两种机制。
第一种方式是将持久化存储在本地硬盘的文件系统元数据备份。Hadoop可以通过配置来让Namenode将他的持久化状态文件写到不同的文件系统中。这种写操作是同步并且是原子化的。比较常见的配置是在将持久化状态写到本地硬盘的同时，也写入到一个远程挂载的网络文件系统。
第二种方式是运行一个辅助的Namenode(Secondary Namenode)。 事实上Secondary Namenode并不能被用作Namenode它的主要作用是定期的将Namespace镜像与操作日志文件(edit log)合并，以防止操作日志文件(edit log)变得过大。通常，Secondary Namenode 运行在一个单独的物理机上，因为合并操作需要占用大量的CPU时间以及和Namenode相当的内存。辅助Namenode保存着合并后的Namespace镜像的一个备份，万一哪天Namenode宕机了，这个备份就可以用上了。

2、Datanode

文件系统的子节点，即为工作节点，根据客户端或者namenode的调度存储和检索数据，并定期向namenode发送他们所存储的block的列表
当服务器请求读写操作时，Namenode会告诉客户端可调用的空闲节点，然后客户端与该节点通信，进行读写操作

3、Secondary NameNode

通常Secondary Namenode被认为是Namenode的备份，实际上Secondary Namenode的目的是在HDFS中提供一个检查点，用于帮助Namenode更好的工作。
起作用有二：一是镜像备份，二是日志与镜像的定期合并

4、Resource Manager

当应用程序对集群资源需求时，ResourceManager是Yarn集群主控节点，负责协调和管理整个集群（所有NodeManager）的资源。