hadoop1.x与hadoop2.x在HDFS和MapReduce上的区别

HDFS改进

 ·hadoop1.x的HDFS体系架构

         在Hadoop1.x中的NameNode只可能有一个，虽然可以通过SecondaryNameNode与NameNode进行数据同步备份，但是总会存在一定的延时，如果NameNode挂掉，但是如果有部份数据还没有同步到SecondaryNameNode上，还是可能会存在着数据丢失的问题。

      下面顺便介绍一下SecondaryNameNode在Hadoop1.x的作用：(1).HA(高可靠性)的一个解决方案,但不支持热备,配置即可。

     (2).执行过程：从NameNode上下载元数据信息（fsimage,edits），然后把二者合并，生成新的fsimage，在本地保存，并将其推送到NameNode，替换旧的fsimage.

                   1. s econdary 通知 namenode 切换 edit s文件

                   2. s econdary 从 namenode 获得 fsimage 和 edit s(通过 htt p)

                   3. s econdary 将 fsimage 载入内存，然后开始合并 edit s

                   4. s econdary 将新的 fsimage 发回给 namenode

                   5. namenode 用新的 fsimage 替换旧的 fsimage

                   切换——下载——合并——发送

      如图：