前言
任何系统即使做的再大,都会有可能出现各种各样的突发状况。尽管你可以说我在软件层面上已经做到所有情况的意外处理了,但是万一硬件出问题了或者说物理层面上出了问题,恐怕就不是多写几行代码能够立刻解决的吧,说了这么多,无非就是想强调HA,系统高可用性的重要性。在YARN中,NameNode的HA方式估计很多人都已经了解了,那本篇文章就来为大家梳理梳理RM资源管理器HA方面的知识,并不是指简单的RM的HA配置,确切的说是RM的应用状态存储于恢复。
RM应用状态存储使用
RM应用状态存储是什么意思呢,我们知道,RM全称ResourceManager,好比一个大管家,他不仅要与各个节点上的ApplicationMaster进行通信,还要与NodeManager进行心跳包的传输,自然在RM上会注册进来很多的应用,每个应用由1个ApplicationMaster负责掌管整个应用周期。既然RM角色这么重要,就有必要保存一下RM的信息状态,以免RM进程异常退出导致的应用状态信息丢失,RM重启无法重跑之前的应用的现象。
保存什么应用信息
既然目标已经明确了,那么在YARN中,保存的应用信息到底是哪些数据信息呢,应用状态信息只是1个笼统的概念。下面用一张图来表示。
可以看到,这是一张分层多叉树的形状,这个图类似于MapReduce作用运行的分层执行状态图,做个简单介绍,最上面就是1个RMState的状态,这个状态中包含若干个ApplicationState的应用状态信息,每个应用状态信息中包含了很多歌应用尝试信息状态。
应用状态信息如何保存
RM应用状态信息保存的方式又哪些呢:
1.MemoryRMStateStore--信息状态保存在内存中的实现类。
2.FileSystemRMStateStore--信息状态保存在HDFS文件系统中,这个是做了持久化了。
3.NullRMStateStore--do nothing,什么都不做,就是不保存应用状态信息。
4.ZKRMStateStore--信息状态保存在Zookeeper中。
由于我分析的源码中还没有ZKRMStateStore这个类,所以只针对前3种做一个简单的介绍。上面列举的几个类都是具体实现类,那么就一定存在更加上层级的类来定义更基本的变量和方法,答案是RMStateStore类,所以继承关系就是下面这张图所表示
下面蓝色箭头所表示的意思实现类的依托对象。具体什么意思,看接下来的源码分析。首先RMStateStore类对象
/**
* Base class to implement storage of ResourceManager state.
* Takes care of asynchronous notifications and interfacing with YARN objects.
* Real store implementations need to derive from it and implement blocking
* store and load methods to actually store and load the state.
* 保存RM资源状态信息的基类,也是一个服务对象类
*/
public abstract class RMStateStore extends AbstractService {
....
/**
* State of an application attempt
* 一次应用尝试状态信息类
*/
public static class ApplicationAttemptState {
//应用尝试ID
final ApplicationAttemptId attemptId;
//主容器
final Container masterContainer;
//凭证信息
final Credentials appAttemptCredentials;
....
}
/**
* State of an application application
* 应用状态信息类
*/
public static class ApplicationState {
//应用提交上下文对象
final ApplicationSubmissionContext context;
//应用提交时间
final long submitTime;
//提交者
final String user;
//应用尝试信息对
Map<ApplicationAttemptId, ApplicationAttemptState> attempts =
new HashMap<ApplicationAttemptId, ApplicationAttemptState>();
....
}
public static class RMDTSecretManagerState {
// DTIdentifier -> renewDate
//RM身份标识符ID对时间的映射
Map<RMDelegationTokenIdentifier, Long> delegationTokenState =
new HashMap<RMDelegationTokenIdentifier, Long>();
Set<DelegationKey> masterKeyState =
new HashSet<DelegationKey>();
int dtSequenceNumber = 0;
....
}
/**
* State of the ResourceManager
* RM状态信息类
*/
public static class RMState {
//RM中的应用状态对图
Map<ApplicationId, ApplicationState> appState =
new HashMap<ApplicationId, ApplicationState>();
RMDTSecre