Hadoop组成

主要包含4个模块：

Hadoop Common：Hadoop工具包，支持其他模块的工具模块（Configuration、RPC、序列化机制、日志操作）

Hadoop HDFS：一个高可靠、高吞吐量的分布式文件系统，对海量数据的存储。

    1）NameNode(nn)：存储文件的元数据。如文件名、文件目录结构、文件属性，以及每个文件的块列表和块所在的DataNode等。

    2）DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。

    3）Secondary NameNode(2nn)：监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。

Hadoop MapReduce：一个分布式的资源调度和离线并行计算框架。

    1）Map阶段并行处理输入数据。

    2）Reduce阶段对Map结果进行汇总。

Hadoop Yarn：一个新的MapReduce框架，用于作业调度和集群资源管理的框架。