Hadoop 2.0底层原理理解

• Hadoop1.0面临的问题

    HDFS存在的问题：

        Name Node 单点故障，难以引用于在线场景

        Name Node压力过大，切内存受限，影响系统扩展性

    MapReduce存在问题：

       JobTracker访问压力大，影响系统扩展性

       不支持除MapReduce之外的其他计算框架

• Hadoop1.X与Hadoop2.X区别

        Hadoop2.X有HDFS，YARN，MapReduce组成，YARN资源管理系统

        Hadoop1.X中，只有一个Name Node，虽然存在secondery name node进行数据备份，但是存在延迟，有数据丢失的可能。

        Hadoop2.X中，Name Node可以水平扩展，可以有多个Name Node，每个name node之间相互独立，互不影响，data node向每个Name Node注册，作为他们共同的存储点，同时向每个name node提供心跳和块使用情况，并处理Name Node向其发送的指令。（同一个DataNode上不同NameNode使用的快通过文件夹形式进行隔离）

       ViewFs文件系统可实现不同Name Node的文件管理

• Hadoop2.X解决的问题

       解决单点故障问题

       解决内存受限问题，水平扩展，支持多个NameNode，每个NameNode分管一部分DataNode，所有NameNode共享DataNode存储资源。