hadoop概述

1.三大发行版本，Apache （阿帕奇版） Cloudera （CDH版） Hortonworks
2.优势：高可靠，底层维护多个副本，
高扩展：在集群间分配任务数据，方便扩容
高效性:并行工作，加快任务处理速度、
高容错：将自动失败的任务重新分配
3.hadoop的组成：1.x:MapReduce 计算调度，HDFS:数据存储，Commens：辅助工具
2.x:增加Yarn 负责资源调度，MapReduce负责计算
4.HDFS：组成 NameNode（nn）:存储文件的元数据，文件名，文件目录结构，文件属性，以及每个文件的列和块的DataNode
DataNode:在本地文件存系统存储的块数据，以及块数据的校验和
Secondary NameNode:监视HDFS状态的辅助后台程序，每隔一段时间获取HDFS的元数据
5.Yarn的组成：ResouceManager（RM）:处理客户端请求，监控了NM,启动监控ApplicationMaster
NodeManager（NM）管理单个节点上的资源处理RM和AM的命令,每一个服务器都有NM节点，一个服务节点相当于NM和AM组成等组成
6.Container：资源的抽象，封装某个节点的多维度资源，如内存，cpu，磁盘，网络等 （docker）
7.ReduceMape:map阶段并行处理输入数据，reduce阶段对map结果进行汇总 map是分，reduce是合