Hadoop组成架构

Hadoop组成架构

Hadoop是apache用来“处理海量数据存储和海量数据分析”的分布式系统基础架构，更广义的是指hadoop生态圈。
Hadoop的优势
　　高可靠性：hadoop底层维护多个数据副本，即使某个计算单元故障，也不会导致数据丢失。
　　高扩展性：天然支持分布式，可方便的扩展至几千个节点。
　　高容错性：能够自动将失败的任务重新分配。
　　高效性：在mapReduce的思想下，hadoop是并行工作处理任务的。
Hadoop1.x和Hadoop2.x的区别

MapReduce架构概述
　　Mapreduce实际上就是将计算过程分类两个阶段：map和reduce
　　　　1）map阶段：并行处理计算数据
　　　　2）reduce阶段：对map结果进行汇总

HDFS架构概述
　　1. Name Node(nn) 就像一本书的目录。存储文件的元数据:如文件名，文件目录结构，文件属性(创建时