Hadoop 2.x理论知识

本文为博主原创，允许转载，但请声明原文地址： http://www.coselding.cn/article/2016/05/31/Hadoop 2.x理论知识/

Hadoop1.x的问题：
   （1） NameNode的单点故障问题；
   （2） NameNode的内存限制和可拓展性问题；
   （3） JobTracker访问过大，影响系统可拓展性；
   （4） 难以支持MapReduce以外的计算框架；

Hadoop2.x包括：
   高可用HDFS、YARN、MapReduce2
   （1） HDFS：Federation（联邦）、HA（High Available，即高可用）
         HA：主备NameNode，主NameNode故障自动切换到备NameNode执行
     Federation： 支持多个NameNode，每个NameNode分管一部分目录，共享共同的DataNode
     注：仅架构发生变化，对用户透明，使用方式和以前一致
   （2） MapReduce2：运行在YARN上
   （3） YARN：资源管理系统

Hadoop2.x架构图（HDFS的HA）
 
HA：（1）NN：NameNode，分为主Active和备Standby，故障自动切换或根据需求手动切换；
   （2）DN：DataNode，启动时向主备所有NameNode汇报自己的数据块信息，简历数据块映射；
   （3）JN：JournalNode，由于主NameNode故障需要切换到备NameNode，editlog实时NameNode更新缓存存在主NameNode显然不合理，便存在JournalNode中；
      主NameNode实时更新内存中的NameNode信息，并更新JournalNode中的相应日志信息editlog，之后备NameNode再从JournalNode当中获取editlog更新自己内存中的NameNode信息，实现数据分离和主备NameNode数据同步的功能（没有SecondaryNameNode了）。
      相比NFS，多台JournalNode实现了高可用。
   （4） FailoverController：检测各个NameNode的工作健康状态（心跳检测），并向上汇报给ZooKeeper，这样ZooKeeper就知道当前哪个NameNode为可用，发现主NameNode故障时命令其中一个备NameNode的切换成主NameNode（竞争锁）。
      一个FailoverController对应一个NameNode（同台机器）。
   （5） ZooKeeper：系统调度器，提供二次开发接口；
      运行时客户端先访问ZooKeeper得到当前可用的NameNode，再访问NameNode来完成他的请求。
   （6） 主备NameNode切换：
        手动切换：根据需求命令切换
        自动切换：基于ZooKeeper自动切换

Federation：
 
   三个NameNode进行联邦，等价于三个集群同时工作，只是这里的三个集群共享了DataNode，可以根据业务分类将不同业务类型的数据交给不同的NameNode分别管理，这样解决文件数量多NameNode内存不够的问题。

注：Federation和高可用同时配置的话，相当于每个联邦的NameNode都有一个HA的结构图那个结构。

YARN：分布式资源管理系统
   （1） ResourceManager：整个集群的资源管理和调度；
   （2） ApplicationMaster：负责具体的一个应用程序相关事务，任务调度，任务监控，容错等；
   （3） NodeManager：和DataNode同台机器（就近运算）都有一个NodeManager；
   （4） 为所有计算框架提供了统一接口，允许了多种计算框架同时运行在集群上：MapReduce，Storm，Spark

本文为博主原创，允许转载，但请声明原文地址：http://www.coselding.cn/article/2016/05/31/Hadoop 2.x理论知识/