http://blog.itpub.net/28929558/viewspace-1473102

2019独角兽企业重金招聘Python工程师标准>>>

备注：NameNode HA ： NameNode高可用 ， HDFS Fedreation 分布式文件系统联盟 解决了1带的单点问题

         Yarm 分布式资源管理系统，解决JobTrack单点问题
        


1. hadoop 1.x 版本的生态系统：


2. hadoop 2.x版本的生态系统：



对于分布式系统和框架的架构来说，一般分为两部分：

第一部分：管理层（用于管理应用层）
第二部分：应用层 （工作的）


对于HDFS，分布式文件系统：

    NameNode:    属于管理层，用于管理数据的存储
    
    SecondNameNode：也属于管理层，用于辅助管理数据的存储

    DateNode：属于 应用层 ，用户进行数据存储，被NameNode管理，定时向NameNode进行工作汇报，执行NameNode分配分发的任务


对于MapReduce，分布式计算框架：

    JobTrack ： 属于管理层，用于管理集群的资源，对集群的任务资源进行调度，并监控任务的执行。

    TaskTrack： 属于应用层，用于执行JobTrack分配分发的任务，并向JobTrack汇报执行情况。


对于hadoop 二代版本的yarm系统：
    NodeManager ：属于管理层，节点管理
    
    ResourceManager：属于管理层， 资源管理

    DataNode：属于应用层，被 NodeManager  和  ResourceManager管理，执行任务。

转载于:https://my.oschina.net/zhangjie830621/blog/392079