YARN集群搭建与使用

最新推荐文章于 2024-05-29 16:46:06 发布

阿华田512

最新推荐文章于 2024-05-29 16:46:06 发布

阅读量3.6k

点赞数 1

分类专栏：大数据开发 yarn 文章标签： yarn的使用 yarn的安装与使用 yarn监控获取yarn的任务状态

本文链接：https://blog.csdn.net/aA518189/article/details/79932223

版权

大数据开发同时被 2 个专栏收录

9 篇文章 2 订阅

订阅专栏

yarn

3 篇文章 0 订阅

订阅专栏

一 yarn简介

Yarn（Yet Another Resource Negotiator）是Hadoop集群的资源管理系统，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

二 YARN的核心思想

将JobTracker和TaskTracker进行分离，它由下面几大构成组件：

a. 一个全局的资源管理器 ResourceManager

b.ResourceManager的每个节点代理 NodeManager

c. 表示每个应用的 ApplicationMaster

d. 每一个ApplicationMaster拥有多个Container在NodeManager上运行

二Yarn的组件及架构

ResourceManager（RM）

RM是一个全局的资源管理器，负责整个系统的资源管理和分配。它主要由两个组件构成：调度器（Scheduler）和应用程序管理器（Applications Manager，ASM）。

调度器调度器根据容量、队列等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系统中的资源分配给各个正在运行的应用程序。需要注意的是，该调度器是一个“纯调度器”，它不再从事任何与具体应用程序相关的工作，比如不负责监控或者跟踪应用的执行状态等，也不负责重新启动因应用执行失败或者硬件故障而产生的失败任务，这些均交由应用程序相关的ApplicationMaster完成。调度器仅根据各个应用程序的资源需求进行资源分配，而资源分配单位用一个抽象概念“资源容器”（Resource Container，简称Container）表示，Container是一个动态资源分配单位，它将内存、CPU、磁盘、网络等资源封装在一起，从而限定每个任务使用的资源量。此外，该调度器是一个可插拔的组件，用户可根据自己的需要设计新的调度器，YARN提供了多种直接可用的调度器，比如Fair Scheduler和Capacity Scheduler等。

应用程序管理器应用程序管理器负责管理整个系统中所有应用程序，包括应用程序提交、与调度器协商资源以启动ApplicationMaster、监控ApplicationMaster运行状态并在失败时重新启动它等。

ApplicationMaster（AM）

用户提交的每个应用程序均包含一个AM，主要功能包括：

与RM调度器协商以获取资源（用Container表示）；

将得到的任务进一步分配给内部的任务(资源的二次分配)；

与NM通信以启动/停止任务；

监控所有任务运行状态，并在任务运行失败时重新为任务申请资源以重启任务。

当前YARN自带了两个AM实现，一个是用于演示AM编写方法的实例程序distributedshell，它可以申请一定数目的Container以并行运行一个Shell命令或者Shell脚本；另一个是运行MapReduce应用程序的AM—MRAppMaster。

注：RM只负责监控AM，在AM运行失败时候启动它，RM并不负责AM内部任务的容错，这由AM来完成。

NodeManager（NM）

NM是每个节点上的资源和任务管理器，一方面，它会定时地向RM汇报本节点上的资源使用情况和各个Container的运行状态；另一方面，它接收并处理来自AM的Container启动/停止等各种请求。

Container

Container是YARN中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等，当AM向RM申请资源时，RM为AM返回的资源便是用Container表示。YARN会为每个任务分配一个Container，且该任务只能使用该Container中描述的资源。

注：1. Container不同于MRv1中的slot，它是一个动态资源划分单位，是根据应用程序的需求动态生成的。

2. 现在YARN仅支持CPU和内存两种资源，且使用了轻量级资源隔离机制Cgroups进行资源隔离。

YARN的资源管理和执行框架都是按主/从范例实现的——Slave ---节点管理器（NM）运行、监控每个节点，并向集群的Master---资源管理器(RM)报告资源的可用性状态，资源管理器最终为系统里所有应用分配资源。

特定应用的执行由ApplicationMaster控制，ApplicationMaster负责将一个应用分割成多个任务，并和资源管理器协调执行所需的资源，资源一旦分配好，ApplicationMaster就和节点管理器一起安排、执行、监控独立的应用任务。

需要说明的是， YARN不同服务组件的通信方式采用了事件驱动的异步并发机制，这样可以简化系统的设计。

三 YARN安装：

分布式计算程序（比如mapreduce程序）的运行调度平台；

它本身也是一个分布式系统：主节点--> ResourceManager ，从节点--> NodeManager

安装：

配置文件：设置yarn.resourcemanager.hostname 为其中一台机器

配置好后远程传给其他的机器

vi /root/apps/hadoop-2.8.1/etc/hadoop/yarn-site.xm

<property>
<name>yarn.resourcemanager.hostname</name>
<value>wangzhihua1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>2</value>
</property>

启动：

start-yarn.sh 注意：一定要在配置成ResourceManager的节点上执行该脚本！

yarn任务监控

生产环境大多数任务都会提交到yarn上去运行，所有如何获取任务在yarn上的状态以及信息，非常重要。如果能获取任务在yarn上的状态和信息，那么我们就能及时发现任务出现的问题。我们可以通过java或者python去获取yarn任务的信息。

java版

第一步：把yarn-site.xml文件导入到监控系统（meavn工程）的resources文件下

第二步：编写监控代码

public class YarnUtil {
//获取任务的applicationId
    public static String getAppId(String jobName) {
        YarnClient client = YarnClient.createYarnClient();
        Configuration conf = new Configuration();
        client.init(conf);
        client.start();
        EnumSet<YarnApplicationState> appStates = EnumSet.noneOf(YarnApplicationState.class);
        if (appStates.isEmpty()) {
            appStates.add(YarnApplicationState.RUNNING);
            appStates.add(YarnApplicationState.ACCEPTED);
            appStates.add(YarnApplicationState.SUBMITTED);
        }
        List<ApplicationReport> appsReport = null;
        try {
       //返回EnumSet<YarnApplicationState>中个人任务状态的所有任务
            appsReport = client.getApplications(appStates);
        } catch (YarnException | IOException e) {
            e.printStackTrace();
        }
        assert appsReport != null;
        for (ApplicationReport appReport : appsReport) {
           //获取任务名
            String jn = appReport.getName();
            String applicationType = appReport.getApplicationType();
            if (jn.equals(jobName) && "Apache Flink".equals(applicationType)) {
                try {
                    client.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
                return appReport.getApplicationId().toString();
            }
        }
        try {
            client.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
        return null;
    }
//根据任务的applicationId去获取任务的状态
    public static YarnApplicationState getState(String appId) {
        YarnClient client = YarnClient.createYarnClient();
        Configuration conf = new Configuration();
        client.init(conf);
        client.start();
        ApplicationId applicationId = ApplicationId.fromString(appId);
        YarnApplicationState yarnApplicationState = null;
        try {
            ApplicationReport applicationReport = client.getApplicationReport(applicationId);
            yarnApplicationState = applicationReport.getYarnApplicationState();
        } catch (YarnException | IOException e) {
            e.printStackTrace();
        }
        try {
            client.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
        return yarnApplicationState;
    }
    public static void main(String[] args) throws IOException, InterruptedException {
        YarnApplicationState state = getState("application_1551855530546_0046");
        System.out.println(state);
        System.out.println(state == YarnApplicationState.RUNNING);
    }
}

yarn上的任务有如下几个状态：在源码的YarnApplicationState枚举的类中定义，我们可以更具获取任务的applicationId去获取任务的状态。

注意事项

1.client.getApplications(appStates)：是为了返回appStates中所包含状态的所有任务，可以设置只返回哪几种状态的任务列表

2. ApplicationReport appReport：是返回的任务，我们可以通过任务实例appReport获取任务的所有信息，也就是yarn界面上任务的所有信息，队列，applicationId,任务名。。。。。

Python版本

编写监控脚本 yarn-monitor.py

# coding=utf-8
import commands
import getpass
import optparse
import sys
import time
from util import send_mail, phone_call, send_message
# 监控yarn上的flink程序
class YarnMonitor(object):
    def __init__(self):
        self._option_parser = optparse.OptionParser()
        self._option_parser.add_option("--app", help=u"应用程序列表，以逗号分隔", dest="user_app")
        self._option_parser.add_option("--phone", help=u"手机号", dest="phone")
        self._option_parser.add_option("--user_mail", help=u"接收邮箱账号，逗号分隔", dest="user_mail")
        self._option_parser.add_option("--title", help=u"邮箱标题", dest="title")
        (self._opt, arg) = self._option_parser.parse_args()
        self.user_app = self._opt.user_app
        self.phone = self._opt.phone
        self.user_mail = self._opt.user_mail.replace(',', ';')
        self.title = self._opt.title

    def yarn_monitor(self):
        is_call = True
        # \n分隔的app—name列表
        apps = commands.getoutput(
            "yarn application -list -appTypes SPARK -appStates RUNNING|awk -F ' ' '{print $2}'|sed '1,2d'")
        app_list = apps.split('\n')
        for app in self.user_app.split(','):
            if app not in app_list:
                if is_call:
                    is_call = False
                    phone_call.multi_phone_called(self.phone)
                send_message.multi_sms_send(self.phone, 'time : %s\nuser : %s\n%s program is dead' % (
                    cur_datetime, getpass.getuser(), app))
                send_mail.send_mail(self.user_mail, '', '', self.title, 'html',
                                    '<font color="red">时间：%s<br>用户：%s<br>%s program is dead</font>' % (
                                        cur_datetime, getpass.getuser(), app), 'high', '')

  if __name__ == '__main__':
     cur_datetime = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
     print cur_datetime
     ym = YarnMonitor()
     ym.yarn_monitor()

启动脚本：

#!/bin/bash
source /etc/profile
source /home/wangzh03/.bash_profile
python /data/wangzh/project/cloud_platform_script/monitor_yarn/yarn-monitor.py \
--app RTC_RedisDcSyncHbase,RTC_redisWc,RTC_CheckFieldUpdate \
--phone 176010842321,4234811560811 \
--user_mail  xxxx@mssssn \
--title flink报警

扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦

阿华田512

关注

1
点赞
踩
4

收藏

觉得还不错? 一键收藏
打赏
0
评论
YARN集群搭建与使用

一 yarn简介Yarn（Yet Another Resource Negotiator）是Hadoop集群的资源管理系统，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。二 YARN的核心思想将JobTracker和TaskTracker进行分离，它由下面几大构成组件：a. 一个全局的资源管理器 ...
复制链接

扫一扫