1.三大发行版本,Apache (阿帕奇版) Cloudera (CDH版) Hortonworks
2.优势:高可靠,底层维护多个副本,
高扩展:在集群间分配任务数据,方便扩容
高效性:并行工作,加快任务处理速度、
高容错:将自动失败的任务重新分配
3.hadoop的组成:1.x:MapReduce 计算调度,HDFS:数据存储,Commens:辅助工具
2.x:增加Yarn 负责资源调度,MapReduce负责计算
4.HDFS:组成 NameNode(nn):存储文件的元数据,文件名,文件目录结构,文件属性,以及每个文件的列和块的DataNode
DataNode:在本地文件存系统存储的块数据,以及块数据的校验和
Secondary NameNode:监视HDFS状态的辅助后台程序,每隔一段时间获取HDFS的元数据
5.Yarn的组成:ResouceManager(RM):处理客户端请求,监控了NM,启动监控ApplicationMaster
NodeManager(NM)管理单个节点上的资源处理RM和AM的命令,每一个服务器都有NM节点,一个服务节点相当于NM和AM组成等组成
6.Container:资源的抽象,封装某个节点的多维度资源,如内存,cpu,磁盘,网络等 (docker)
7.ReduceMape:map阶段并行处理输入数据,reduce阶段对map结果进行汇总 map是分,reduce是合