【云平台技术】作业七

一、填空题

1、Yarn的核心组件包含 ResourceManager 、 NodeManager 、 ApplicationMaster 。

2、ResourceManager内部包含了两个组件，分别是 调度器（Scheduler）和 应用程序管理器（Application Manager） 。

二、判断题

1、ResourceManager负责监控ApplicationMaster，并在ApplicationMaster运行失败的时候重启它，因此ResouceManager负责ApplicationMaster内部任务的容错。( × )

2、NodeManager是每个节点上的资源和任务管理器。( √ )

3、Hadoop HA是集群中启动两台或两台以上机器充当NameNode，避免一台NameNode节点发生故障导致整个集群不可用的情况。( √ )

4、Hadoop HA是两台NameNode同时执行NameNode角色的工作。( √ )

5、在Hadoop HA中，Zookeeper集群为每个NameNode都分配了一个故障

恢复控制器，该控制器用于监控NameNode的健康状态。( √ )

三、选择题

1、下列选项中那些是Hadoop2.x版本独有的进程（ C ）

A、JobTracker　  

B、TaskTracker　  

C、NodeManager　

D、NameNode

2、下列选项描述错误的是？( A )

A、Hadoop HA即集群中包含Secondary NameNode作为备份节点存在。

B、ResourceManager负责的是整个Yarn集群资源的监控、分配和管理工作。

C、NodeManager负责定时的向ResourceManager汇报所在节点的资源使用情况以及接收并处理来自ApplicationMaster的启动停止容器（Container）的各种请求。

D、初次启动Hadoop HA集群时，需要将格式化文件系统后的目录拷贝至另外一台NameNode节点上。

四、简答题

1、简述Yarn集群的工作流程。

答：①用户编写客户端应用程序， 向YARN提交应用程序，提交的内容包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。

  ②YARN 中的ResourceManager负责接收和处理来自客户端的请求。接到客户端应用程序请求后，ResourceManager里面的调度器会为应用程序分配一个容器。同时， ResourceManager的应用程序管理器会与该容器所在NodeManager 通信，为该应用程序年该容器中启动一个ApplicationMaster。

  ③ApplicationMaster 被创建后会首先向ResourceManager 注册，从而使得用户可以通过ResourceManager来直接查看应用程序的运行状态。接下来的步骤4~7是具体的应用程序执行步骤。

  ④ApplicationMaster采用轮询的方式通过RPC协议向ResourceManager申请资源。

   ⑤ResourceManager 以“容器”的形式向提出申请的ApplicationMaster 分配资源，一旦ApplicationMaster申请到资源后，就会与该容器所在的NodeManager 进行通信，要求它启动任务。

  ⑥当ApplicationMaster要求容器启动任务时，它会为任务设置好运行环境(包括环境变量、JAR包、二进制程序等)然后将任务启动命令写到一个脚本中， 最后通过在容器中运行该脚本来启动任务。

  ⑦各个任各通过某个RPC 协议向Ap plicationMaster汇报自己的状态和进度，让ApplicationMaster可以随时掌握各 个任务的运行状态，从而可以在任务失败时重新启动任务。

  ⑧应用程序运行完成后，ApplicationMaster向ResourceManager的应用程序管理器注销并关闭自己，若ApplicationMaster因故失败，ResourceManager中的应用程序管理器会监测到失败的情形，然后将其重新启动，直到所有的任务执行完毕。

2、简述Hadoop HA集群的启动步骤。

答：（1）启动集群各个节点的Zookeeper服务；

       （2）启动集群各个节点监控NameNode的管理日志的JournalNode；

       （3）在node-01节点格式化NameNode，并将格式化后的目录拷贝到node-02中；

       （4）在node-01节点上格式化ZKFC；

       （5）在node-01节点上启动HDFS；

       （6）在node-01节点上启动YARN。