关闭

Apache HAWQ LIBYARN模块简介 [作者:林文]

标签: apache hawqyarn大数据
1132人阅读 评论(0) 收藏 举报

Apache Hadoop YARN (Yet Another Resource Negotiator)是Hadoop系统的资源管理器,为各类应用程序进行资源的管理和调度。Apache HAWQ通过libyarn模块,把自己作为一个Hadoop应用,注册到YARN的Resource Manager,这样就可以与Map Reduce、Spark等其他应用一起被纳入YARN的资源管理中,由YARN统一对资源进行管理和调度。本文将简单介绍HAWQ libyarn模块的基本原理和功能。


YARN的基本设计思想是将MapReduceV1中JobTracker的两个主要功能——资源管理和作业调度拆分成两个独立的服务:一个全局的资源管理器Resource Manager和多个针对Hadoop应用的Application Master。ResourceManager负责整个Hadoop系统中所有应用的资源管理和分配,每个应用对应一个Application Master实例,负责相应的调度和协调。每个节点上有一个Node Manager实例,监控应用程序的资源使用情况,并且向Resource Manager汇报,以及负责处理来自Application Master启动或停止container的请求。容器container是YARN对资源的一种抽象,可以看做资源分配的单位。



HAWQ的资源管理有NONE和YARN两种模式,可以在hawq-site.xml中进行配置:



当HAWQ运行在NONE模式下,HAWQ会独占集群的资源,对各节点的资源进行调度和分配;当运行在YARN模式下,HAWQ会把自己当做Hadoop应用,与YARN的Resource Manager协调申请、释放资源。HAWQ的libyarn模块,从本质上讲,是类似hadoop-yarn Java版的C++实现。HAWQ通过使用libyarn所提供的接口,创建一个Unmanaged Application Master实例,与YARN的全局Resource Manager以及各个节点的Node Manager进行交互,从而实现应用程序的注册、资源的申请与释放等各项功能。


接下来讲一下HAWQ是怎样通过Libyarn接口,完成注册、申请/释放资源。Libyarn接口定义可以参考HAWQ代码中LibYarnClient.h文件(/depends/libyarn/src/libyarnclient/LibYarnClient.h)

  1. 应用启动后,首先需要通过调用createJob函数向Resource Manager注册自己,只有注册成功后,才有资格向RM申请资源。

  2. 如果createJob调用成功,一个独立的心跳线程会被创建并且定时向Resource Manager发送心跳RPC汇报自己状态。

  3. 应用申请资源时,调用addContainerRequests函数指明所需container的个数以及优先级等信息,然后调用allocateResources函数向Resource Manager申请资源。

  4. 应用申请资源成功后,调用activeResources函数向资源所在的各个节点NodeManager发送active container的请求。

  5. 在应用运行过程中,可以调用getContainerStatuses函数向NodeManager获取该节点上的container的状态信息;或者调用getContainerReports函数向ResourceManager获取container报告。

  6. 资源使用完毕,应用的Application Master需要调用releaseResources释放资源。

  7. 当应用运行结束,调用finishJob函数向RM注销自己。


目前libyarn模块已经支持Kerberos安全协议和HA,用户可以根据应用的需求在yarn-client.xml文件中配置,具体配置请参考HAWQ用户手册。

Hadoop YARN的HA功能是利用ZooKeeper,配置一个Standby Resource Manager,如果配置自动Failover功能,当Acitve Resource Manager发生故障停止运行时,Standby Resource Manager会自动切换成Active。在HAWQ中,Application Master调用libyarn接口发现经过若干次(次数可以在yarn-client.xml配置)尝试连接不到ActiveRM时,会自动尝试连接StandbyRM,直到成功。

1
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:19577次
    • 积分:327
    • 等级:
    • 排名:千里之外
    • 原创:13篇
    • 转载:0篇
    • 译文:0篇
    • 评论:1条
    文章存档
    最新评论