YARN 的状态机库及其使用

最新推荐文章于 2023-08-25 10:41:12 发布
最新推荐文章于 2023-08-25 10:41:12 发布
阅读量1.5k 收藏 1
点赞数
分类专栏： hadoop 大数据 文章标签： yarn 状态机
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lfdanding/article/details/51786110
版权

状态机由一组状态组成，这些状态分为三类：初始状态、中间状态和最终状态。状态机从初始状态开始运行，经过一系列中间状态后，到达最终状态并退出。在一个状态机中，每个状态都可以接收一组特定事件，并根据具体的事件类型转换到另一个状态。当状态机转换到最终状态时，则退出。

YARN状态转换方式
在YARN中，每种状态转换由一个四元组表示，分别是转换前状态（preState）、转换后状态（postState）、事件（event）和回调函数（hook）。YARN定义了三种状态转换方式，具体如下：
1）一个初始状态、一个最终状态、一种事件。该方式表示状态机在preState状态下，接收到Event事件后，执行函数状态转义函数Hook，并在执行完成后将当前状态转换为postState。
这里写图片描述
2）一个初始状态、多个最终状态、一种事件。该方式表示状态机在preState状态下，接收到Event事件后，执行函数状态转移函数Hook，并将当前状态转移为函数Hook的返回值表示的状态。
这里写图片描述
3）一个初始状态、一个最终状态、多种事件。该方式表示状态机在preState状态下，接收到Event1、Event2和Event3中的任何一个事件，将执行函数状态转移函数Hook，并在执行完成后将当前状态转换为postState。
这里写图片描述

状态机的使用方法
为了说明状态机的使用方法，举例如下。在该例子中，创建了一个作业状态机JobStateMachine，该状态机维护作业内部的各种状态变化。该状态机同时也是一个事件处理器，当接收到某种事件后，会触发相应的状态转移。

定义Job事件

package com.statemachine;

import org.apache.hadoop.yarn.event.AbstractEvent;

public class JobEvent extends AbstractEvent<JobEventType> {
    private String jobID ;
    public JobEvent(String jobID , JobEventType type){
        super(type) ;
        this.jobID = jobID ;
    }
    public String getJobID(){
        return this.jobID ;
    }

}

其中，Job事件类型定义如下

package com.statemachine;

public enum JobEventType {
    JOB_KILL ,
    JOB_INIT ,
    JOB_START ,
    JOB_SETUP_COMPLETED ,
    JOB_COMPLETED ,
}

定义中央异步调度器

package com.statemachine;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.service.CompositeService;
import org.apache.hadoop.service.Service;
import org.apache.hadoop.yarn.event.AsyncDispatcher;
import org.apache.hadoop.yarn.event.Dispatcher;
import org.apache.hadoop.yarn.event.EventHandler;

@SuppressWarnings("unchecked")
public class SimpleMRAppMaster extends CompositeService {
    private Dispatcher dispatcher ; // 中央异步调度器
    private String jobID ;

    public SimpleMRAppMaster(String name , String jobID){
        super(name) ;
        this.jobID = jobID ;
    }

    public void serviceInit(final Configuration conf) throws Exception{
        dispatcher = new AsyncDispatcher() ; //定义一个中央异步调度器
        //注册状态机处理器
        dispatcher.register(JobEventType.class, new JobStateMachine(jobID,dispatcher.getEventHandler())) ;
        addService((Service)dispatcher) ;
        super.serviceInit(conf) ;
    }

    public Dispatcher getDispatcher(){
        return dispatcher ;
    }
}

定义状态机和状态机处理器

package com.statemachine;

import java.util.EnumSet;
import java.util.concurrent.locks.Lock;
import java.util.concurrent.locks.ReadWriteLock;
import java.util.concurrent.locks.ReentrantReadWriteLock;

import org.apache.hadoop.yarn.event.EventHandler;
import org.apache.hadoop.yarn.state.InvalidStateTransitonException;
import org.apache.hadoop.yarn.state.MultipleArcTransition;
import org.apache.hadoop.yarn.state.SingleArcTransition;
import org.apache.hadoop.yarn.state.StateMachine;
import org.apache.hadoop.yarn.state.StateMachineFactory;


@SuppressWarnings({"rawtypes","unchecked"})
public class JobStateMachine implements EventHandler<JobEvent> {

    private final String jobID ;
    private EventHandler eventHandler ;
    private final Lock writeLock ;
    private final Lock readLock ;
    private final StateMachine<JobStateInternal,JobEventType,JobEvent> stateMachine ;

    public JobStateMachine(String jobID, EventHandler eventHandler){
        this.jobID = jobID ;
        ReadWriteLock readWriteLock = new ReentrantReadWriteLock() ;
        this.readLock = readWriteLock.readLock() ;
        this.writeLock = readWriteLock.writeLock() ;
        this.eventHandler = eventHandler ;
        stateMachine = stateMachineFactory.make(this) ;
    }


    public String getJobID(){
        return this.jobID ;
    }
    //定义状态机
    protected static final StateMachineFactory<JobStateMachine,JobStateInternal,JobEventType,JobEvent> 
    stateMachineFactory = new StateMachineFactory<JobStateMachine,JobStateInternal,JobEventType,JobEvent>(JobStateInternal.NEW)

    .addTransition(JobStateInternal.NEW, JobStateInternal.INITED, JobEventType.JOB_INIT,new InitTransition())

    .addTransition(JobStateInternal.INITED, JobStateInternal.SETUP, JobEventType.JOB_START,new StartTransition())

    .addTransition(JobStateInternal.SETUP, JobStateInternal.RUNNING, JobEventType.JOB_SETUP_COMPLETED,new SetupCompletedTransition())

    .addTransition(JobStateInternal.RUNNING, EnumSet.of(JobStateInternal.KILLED, JobStateInternal.SUCCEEDED), JobEventType.JOB_COMPLETED,new JobTasksCompletedTransition())

    .installTopology() ;

    protected StateMachine<JobStateInternal,JobEventType,JobEvent> getStateMachine(){
        return this.stateMachine ;
    }

    public static class InitTransition implements SingleArcTransition<JobStateMachine,JobEvent>{

        @Override
        public void transition(JobStateMachine job, JobEvent event) {
            System.out.println("Receiving event " + event);
            job.eventHandler.handle(new JobEvent(job.getJobID(),JobEventType.JOB_START)) ;
        }

    }

    public static class StartTransition implements SingleArcTransition<JobStateMachine,JobEvent>{

        @Override
        public void transition(JobStateMachine job, JobEvent event) {
            System.out.println("Receiving event " + event);
            job.eventHandler.handle(new JobEvent(job.getJobID(),JobEventType.JOB_SETUP_COMPLETED)) ;
        }

    }

    public static class SetupCompletedTransition implements SingleArcTransition<JobStateMachine,JobEvent>{

        @Override
        public void transition(JobStateMachine job, JobEvent event) {
            System.out.println("Receiving event " + event);
            job.eventHandler.handle(new JobEvent(job.getJobID(),JobEventType.JOB_COMPLETED)) ;
        }

    }

    public static class JobTasksCompletedTransition implements MultipleArcTransition<JobStateMachine, JobEvent, JobStateInternal>{

        @Override
        public JobStateInternal transition(JobStateMachine job, JobEvent event) {
            System.out.println("Receiving event " + event);
            return JobStateInternal.SUCCEEDED ;
        }



    }
    @Override
    public void handle(JobEvent event) {
        try{
            writeLock.lock() ;
            JobStateInternal oldState = getInternalState() ;

            try {
                getStateMachine().doTransition(event.getType(), event) ;
            } catch (InvalidStateTransitonException e) {
                System.out.println("Can't handle this event at current state") ;
            }
            if(oldState != getInternalState()){
                System.out.println("Job Transitioned from " + oldState + " to " + getInternalState()) ;
            }
        }finally{
            writeLock.unlock() ;
        }
    }


    public JobStateInternal getInternalState(){
        readLock.lock() ;
        try{
            return getStateMachine().getCurrentState() ;
        }finally{
            readLock.unlock() ;
        }
    }
    public enum JobStateInternal{//作业内部状态
        NEW ,
        SETUP ,
        INITED ,
        RUNNING ,
        SUCCEEDED ,
        KILLED 
    }

}

测试程序

package com.statemachine;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.yarn.conf.YarnConfiguration;

public class SimpleMRAppMasterTest {
    public static void main(String args[]) throws Exception{
        String jobID = "job_20131215_12" ;
        SimpleMRAppMaster appMaster = new SimpleMRAppMaster("Simple MRAppMaster" , jobID ) ;
        YarnConfiguration conf = new YarnConfiguration(new Configuration()) ;
        appMaster.serviceInit(conf) ;
        appMaster.init(conf) ;
        appMaster.start() ;
        appMaster.getDispatcher().getEventHandler().handle(new JobEvent(jobID,JobEventType.JOB_INIT)) ;
    }
}

运行结果如下
这里写图片描述

解释一下程序
状态机迁移如下图所示
这里写图片描述
首先定义状态机

//定义状态机
    protected static final StateMachineFactory<JobStateMachine,JobStateInternal,JobEventType,JobEvent> 
    stateMachineFactory = new StateMachineFactory<JobStateMachine,JobStateInternal,JobEventType,JobEvent>(JobStateInternal.NEW)

    .addTransition(JobStateInternal.NEW, JobStateInternal.INITED, JobEventType.JOB_INIT,new InitTransition())

    .addTransition(JobStateInternal.INITED, JobStateInternal.SETUP, JobEventType.JOB_START,new StartTransition())

    .addTransition(JobStateInternal.SETUP, JobStateInternal.RUNNING, JobEventType.JOB_SETUP_COMPLETED,new SetupCompletedTransition())

    .addTransition(JobStateInternal.RUNNING, EnumSet.of(JobStateInternal.KILLED, JobStateInternal.SUCCEEDED), JobEventType.JOB_COMPLETED,new JobTasksCompletedTransition())

    .installTopology() ;

注册状态机处理器，当接收到某种事件（本例是JobEventType）后，会触发相应的状态转移，

//注册状态机处理器
        dispatcher.register(JobEventType.class, new JobStateMachine(jobID,dispatcher.getEventHandler())) ;

1、首先，往中央处理器放入JobEventType.JOB_INIT事件

appMaster.getDispatcher().getEventHandler().handle(new JobEvent(jobID,JobEventType.JOB_INIT)) ;

2、中央异步处理器将JobEventType.JOB_INIT事件发往状态机处理器JobStateMachine，调用invoke方法，调用doTransition

getStateMachine().doTransition(event.getType(), event) ;

3、回调与JOB_INIT事件关联的Hook函数 InitTransition.transition函数，该函数将下一个事件JobEventType.JOB_START放入中央异步处理器。这时候，状态机已经转移到下一个状态INITED。

job.eventHandler.handle(new JobEvent(job.getJobID(),JobEventType.JOB_START)) ;

4、重复2-4，完成状态机的迁移。

lfdanding
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【yarn】yarn 命令行查看 资源状态
九师兄
01-11 1万+
这个命令句就可以 , 查看集群的资源情况 , 包括正在使用的情况.如何通过shell 命令或脚本查看剩余的 cpu核心数 和内存。本次是因为yarn界面现场不给开放一个任务总是说资源不足。
Yarn中的状态机库及其使用
METON的博客
08-20 821
状态机库 状态机由一组状态组成，这些状态分为三类：初始状态、中间状态和最终状态。状态机从初始状态开始运行，经过一系列中间状态后，到达最终状态并退出。在一个状态机中，每个状态都可以接收一组特定事件，并根据具体的事件类型转换到另一个状态。当状态机转换到最终状态时，则退出。 YARN状态转换方式 在YARN中，每种状态转换由一个四元组表示，分别是转换前状态（preState）、转换后状态（postState）、事件（event）和回调函数（hook）。YARN定义了三种状态转...
Yarn常用命令
zhongmingyu
03-10 1661
可以看到容器id，借此查看Container日志，见第4个命令。只有在跑应用时才能看到容器状态（容器在任务完成之后就销毁了）在Application陷入异常时会用到。和在这里看到的一样的。
【大数据】yarn 任务中的几种状态变化详细过程
匠人精神，持之以恒！
05-08 1250
在YARN中，应用程序和Container的状态变化会影响任务的执行和资源分配。
YARN——常用命令
xdx_dili的博客
08-25 473
YARN——常用命令
Yarn【常用命令】
梦想是动物管理员
06-06 2238
Yarn常用命令
Yarn的安装与使用详细介绍
09-01
本文将深入探讨Yarn的安装、配置和使用方法。 首先，让我们来看看如何安装Yarn。在不同的操作系统上，安装步骤略有不同： 1. MacOS用户可以通过运行以下命令来安装： ``` curl -o- -L ...
yarn包管理工具的使用
最新发布
11-07
* 更快的安装速度：yarn使用缓存机制来加速包的安装速度。 * 更好的性能：yarn使用了更高效的算法来管理包依赖关系。 * 更友好的用户界面：yarn提供了更加友好的用户界面，易于使用和管理包。 yarn的应用场景 yarn...
yarn的使用与升级Node.js的方法详解
10-19
以下是一些基本的yarn使用方法： 1. **安装yarn** 在Mac上，可以通过Homebrew进行安装： ```bash brew update brew install yarn ``` 2. **初始化项目** 类似于npm的`npm init`，你可以使用`yarn init`来...
yarn安装和使用文档
02-05
yarn安装
Yarn常用操作命令
qq_42264264的博客
05-23 2446
yarn任务状态信息会保存在zk中，调整参数时要考虑zk的内存大小，参数过大会把zk写挂。
关于Yarn源码那些事-番外-Yarn的状态机
夜阑听风
05-16 722
上一篇番外，写了Yarn的调度机制，这种大型的调度，主要用于类与类之间的调度，简单来说，就是一个类对于那些觉得自己管控不了的事情，就将其扔给别人来处理。Yarn中很多的类都是有调度器的，而且它们大多都持有全局调度器，对于自己处理不了的事情，干脆利落地将其扔到RM或者NM的调度器中。全局调度器就相当于一个统筹者，一根线，把所有的类给串起来，而在很多类的内部，同样支持事件的处理，而本文就讨论下这种处理...
YARN集群搭建与使用
阿华田的博客
04-13 3688
一 yarn简介 Yarn（Yet Another Resource Negotiator）是Hadoop集群的资源管理系统，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 二 YARN的核心思想 将JobTracker和TaskTracker进行分离，它由下面几大构成组件： a. 一个全局的资源管理器 ...
hadoop yarn查看任务状态
m0_67401660的博客
04-03 2051
https://blog.csdn.net/u010003835/article/details/83347589
HadoopYarn常用命令、yarn application查看任务、yarn logs查看日志、yarn applicationattempt查看尝试运行的任务、查看容器、Yarn生产环境核心参数
Redamancy06的博客
10-13 7589
yarn queue查看队列、yarn rmadmin更新配置、yarn node查看节点状态、yarn container查看容器、列出所有Application、根据Application状态过滤：yarn application -list -appStates （所有状态：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED）、Kill掉Application、查询Application日志、查询Container日
Yarn中的几种状态机
weixin_33750452的博客
05-22 224
1 概述     为了增大并发性，Yarn採用事件驱动的并发模型。将各种处理逻辑抽象成事件和调度器。将事件的处理过程用状态机表示。什么是状态机？     假设一个对象。其构成为若干个状态，以及触发这些状态发生相互转移的事件，那么此对象称之为状态机。     处理请求作为某种事件发送到系统中，由一个中央调度器传递给相应的事件调度器，进而对事件进行处理，处理完毕之后再次发送给...
YARN应用的生命周期和状态
互联网知识分享
07-23 431
框架将根据应用的资源需求和集群的资源情况，为应用程序分配合适的资源，并启动应用程序的执行。: YARN客户端对象，用于与YARN进行交互，包括创建和提交应用、获取应用状态等操作。在提交阶段，应用程序的资源需求和容器的启动命令等信息将被配置和提供。: 应用提交上下文对象，用于设置应用的相关信息，如应用名称、资源需求等。应用中包含了应用的相关信息，如应用名称、队列名称、资源需求等。: 应用报告对象，包含了应用的状态、执行结果和日志等信息。应用在其生命周期中，会有不同的状态来表示当前的执行状态。
yarn出于备用状态
08-15
当yarn处于备用状态时，这意味着你的系统正在使用备用的yarn供应。备用状态通常发生在以下情况下： 1. 主yarn供应出现故障：如果主yarn供应出现故障，系统会自动切换到备用yarn供应以确保持续的yarn供应。 2. 维护和升级：当进行yarn供应的维护和升级时，系统可能会切换到备用yarn供应以避免中断。 备用状态的目的是确保持续的yarn供应，以支持系统的正常运行。一旦主yarn供应恢复正常或维护和升级完成，系统将恢复到正常状态。 请注意，以上是一般情况下的解释，具体实施可能因系统和环境而异。如果你有特定的上下文或问题，请提供更多细节，我将尽力提供更准确的答案。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值