Hadoop1.x与Hadoop2.x的区别

hadoop1.x的架构模型：

 

hdfs部分：典型的主从架构，没有主备的概念

    namenode：集群当中的主节点，主要用于维护集群当中的元数据信息，以及接受用户的请求，处理用户的请求

    secondaryNamenode：主要是辅助namenode管理元数据信息的

    datanode：集群当中的从节点，主要用于存储数据

文件系统：

    分盘 文件夹  文件名称   创建时间，创建人，修改时间  文件大小，文件名称，文件路径，文件权限  这些信息，全部都是描述性的信息

mapReduce分布式文件计算系统：

    jobTracker:主节点，接收用户请求，分配任务给taskTracker去执行

    taskTracker：从节点，主要用于接收jobTracker分配的任务

 

hadoop2.x当中的架构模型：

hdfs文件系统：
    namenode：集群当中的主节点，主要用于维护元数据信息，以及处理用户的请求
    secondaryNamenode：主要是辅助namenode管理元数据信息的(如果namenode是高可用，那么就没有secondaryNamenode了，多了journalnode，并且journalnode最好是奇数个)
    datanode：集群当中的从节点，主要用于存储数据

yarn资源调度系统：
    resourceManager：yarn资源调度系统的主节点，接收用户请求，分配资源（分配CPU ，分配内存等等）
    nodeManager：从节点，主要用于处理计算任务

namenode高可用：
    namenode active状态：处于活跃的主节点，处理用户请求，维护元数据信息
    namenode stand 状态：处于备份的节点，活跃的主节点死了之后，备份的节点，马上切换为活跃的主节点，对外提供服务
    如果namenode高可用，那么一定要保证namenode的元数据信息同步一致，如果不一致，就会出现脑裂的问题
    journalNode：为了解决元数据共享的问题，引入journalNode的机制，专门用于同步元数据信息
    zkfc：zkFailoverController ,amenode的守护进程，主要用于监听namenode什么时候死掉，死掉了之后，马上通知另外一个namenode切换为主节点
    

namenode与resourceManager的高可用：
    hadoop 2.0版本引入namenode高可用机制
    resourcemanager  2.4.0版本引用高可用机制