Hadoop 1.x与Hadoop 2.x

一、Hadoop2.0产生的背景

——Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题

——HDFS存在的问题

·NameNode单点故障，难以应用于在线场景 HA

·NameNode压力过大，且内存受限，影扩展性 F

——MapReduce存在的问题响系统

·JobTracker访问压力大，影响系统扩展性

·难以支持除MapReduce之外的计算框架，比如Spark、Storm等

二、Hadoop 1.x与Hadoop 2.x

——Hadoop 2.x由HDFS、MapReduce和YARN三个分支构成；

·HDFS：NN Federation（联邦）、HA；

---2.X:只支持2个节点HA，3.0实现了一主多备

·MapReduce：运行在YARN上的MR；

---离线计算，基于磁盘I/O计算

·YARN：资源管理系统