YARN (MRv2) ResourceManager High Availability

最新推荐文章于 2024-02-11 23:59:09 发布
最新推荐文章于 2024-02-11 23:59:09 发布
阅读量2.3k 收藏 2
点赞数
分类专栏： Hadoop学习专辑

本文源自官网 Cloudera 5.3.x文档
http://www.cloudera.com/content/cloudera/zh-CN/documentation/core/v5-3-x/topics/cdh_hag_rm_ha_config.html

YARN ResourceManager (RM) 负责跟踪群集中的资源并安排应用程序（例如，MapReduce 作业）。在 CDH 5之前，RM 是 YARN 群集中的单点故障。RM 高可用性 (HA) 功能以活动/待机 RM 对形式添加冗余，以删除此单点故障。此外，在从待机 RM 到活动 RM 进行故障转移时，应用程序可以从其上次检查点状态恢复；例如，在 MapReduce 作业中完成的 map 任务不在后续的尝试中重新运行。这样可以在不对运行中的应用程序产生任何重要性能影响的情况下，处理以下事件：

  • 计划外事件，如计算机崩溃
  • 计划内维护事件，如在运行 ResourceManager 的计算机上进行的软件或硬件升级

RM HA 要求 Zookeeper 和 HDFS 服务处于运行状态。


一. 体系结构

RM HA 通过活动-待机 RM 对的方式实施。启动时，每个 RM 处于待机状态：启动过程，但未加载状态。转换到活动状态时，RM 会从指定的状态存储加载内部状态，并启动所有内部服务。管理员（通过的 CLI）或通过集成的故障转移控制器（启用自动故障转移时）可促进转换为活动状态。下面的小节提供了有关 RM HA 组件的更多详细信息。

1.1 RM 重启

RM 重启允许重启 RM，同时恢复运行中的应用程序（如果启用恢复）。为此，RM 将其内部状态（主要是与应用程序相关的数据和令牌）存储在 RMStateStore 中；NodeManagers 连接时，重新构建群集资源。状态存储的可用选择包括 MemoryRMStateStore（基于内存的实施）、FileSystemRMStateStore（基于文件系统的实施；HDFS 可用于文件系统）和 ZKRMStateStore（基于 Zookeeper 的实施）。

1.2 隔离

当运行两个 RM 时，如果两个 RM 都假定它们处于活动状态，则此时可能会出现“裂脑”情况。为了避免此情况，应只有一个 RM 能够执行活动操作，另一 RM 应“隔离”。基于 Zookeeper 的状态存储 (ZKRMStateStore) 允许单个 RM 更改已存储的状态，隐式隔离另一 RM。通过 RM 声明以独占方式创建-删除根 znode 上的权限，来实现这一操作。会根据为存储配置的 ACL 自动创建根 znode 上的 ACL；在安全群集中，Cloudera 建议您为根节点设置 ACL，以便两个 RM 共享读取-写入-管理访问权限，但拥有独占的创建-删除访问权限。隔离是隐式的，不需要显式配置（与 HDFS 中的隔离和 MRv1 操作的一样）。例如，如果您选择使用不同的状态存储实现，可以插入自定义“隔离程序”。

1.3 配置和 FailoverProxy

在 HA 设置中，您应配置两个 RM 以使用不同端口（例如，不同主机上的端口）。为有助于此操作，YARN 使用 RM 标识 符概念 (rm-id)。每个 RM 都有唯一的 rm-id，可以通过 . 配置该 RM 的所有 RPC 配置（；例如 yarn.resourcemanager.address）。客户端、ApplicationMasters 和 NodeManagers 使用这些 RPC 地址自动与活动 RM 通信，即使在故障转移后。为实现这一操作，它们在配置中循环 RM 列表。这将自动完成，不需要任何配置（与在 HDFS 和 MapReduce (mrv 1) 中执行的操作一样）。

1.4 自动故障转移

默认情况下，RM HA 使用 ZKFC（基于 Zookeeper 的故障转移控制器），在活动 RM 不可访问或发生故障时进行自动故障转移。ActiveStandbyElector 在内部用于选择活动的 RM。故障转移控制器作为 RM 的一部分运行（不像在 HDFS 和 MapReduce v1 中一样作为单独过程)，在 yarn-site.xml 中配置相应的属性后，无需进一步设置。

如果愿意，可以插入自定义故障转移控制器。

1.5 手动转换和故障转移

您可以使用命令行工具 yarn rmadmin 将特定的 RM 转换为活动或待机状态，从一个 RM 故障转移到另一个，获取 RM 的 HA 状态，并监视 RM 的运行状况。


二. 使用 Cloudera Manager

您可以使用 Cloudera Manager 配置 ResourceManager High Availability (HA) 的 CDH 5 或更高版本。Cloudera Manager 支持 ResourceManager 的自动故障转移。不提供某种机制来手动强制通过 Cloudera Manager 用户界面进行故障转移。

Note:启用或禁用 HA 将导致以前的监控历史记录变得不可用。

2.1 启用 High Availability

  1. 转到 YARN 服务
  2. 选择操作 > 启用 High Availability。显示屏幕，显示符合运行待机 ResourceManager
    条件的主机。不可选择当前 ResourceManager 正在其中运行的主机
  3. 选择您想在其中安装备用 ResourceManager 的主机，然后单击继续。Cloudera Manager 继续执行一组命令，停止 YARN 服务，添加备用 ResourceManager，初始化 ZooKeeper 中的 ResourceManager High Availability 状态，重启 YARN 并重新部署相关的客户端配置

  4. 在 Cloudera Manager 中启用了 RM HA 时，默认情况下为 RM
    启用工作保留恢复。有关详细信息，包括禁用工作保留恢复的说明，请参阅 用于 YARN 组件的工作保留恢复。

    Note: ResourceManager HA 不会影响 JobHistory Server (JHS)。JHS 不保留任何状态，因此，如果主机出现故障，您只需将其分配给新主机即可。也可以通过执行下列操作来启用进程自动重启：

    1. 转到 YARN 服务
    2. 单击配置选项卡
    3. 展开 JobHistory Server 默认组
    4. 选择高级子类别
    5. 选中自动重启进程复选框
    6. 重启 JobHistory Server 角色

2.2 禁用 High Availability

要配置和启动 ResourceManager HA，操作如下所示。

  • 转到 YARN 服务
  • 选择操作 > 禁用 High Availability。显示屏幕，显示运行 ResourceManagers 的主机
  • 选择您要将哪个 ResourceManager（主机）保留为单个 ResourceManager，并单击继续。Cloudera
    Manager 执行一组命令，停止 YARN 服务，删除备用 ResourceManager 和故障转移控制器，重启 YARN
    服务，以及重新部署客户端配置


三. 使用命令行

要配置和启动 ResourceManager HA，操作如下所示。

  • 停止 YARN daemon
  • 配置手动故障转移，并根据需要选择自动故障转移
  • 重启 YARN daemon

3.1 停止 YARN daemon

停止所有节点（这些服务在其上运行）上的 MapReduce JobHistory 服务、ResourceManager 服务和 NodeManager，如下所示：

sudo service hadoop-mapreduce-historyserver stop
sudo service hadoop-yarn-resourcemanager stop
sudo service hadoop-yarn-nodemanager stop

**配置手动故障转移，并根据需要选择自动故障转移
要配置故障转移：**

Note:
在 yarn-site.xml 中配置以下属性（如下所示），无论您是配置手动还是自动故障转移。它们足以配置手动故障转移。您需要为自动故障转移配置其他属性。

名称用于默认值建议值说明
yarn.resourcemanager
.ha.enabled		ResourceManager、
NodeManager、
客户端		falsetrue启用 HA
yarn.resourcemanager
.ha.rm-ids		ResourceManager、
NodeManager、
客户端		（无）特定于群集，例如， rm1,rm2此群集中的 ResourceManager ID 的逗号分隔列表
yarn.resourcemanager
.ha.id		ResourceManager（无）特定于 RM，例如， rm1当前 ResourceManager 的 ID。必须在每个 ResourceManager 中显式设置为适当的值
yarn.resourcemanager
.address.		ResourceManager、
客户端		（无）特定于群集此 RM 的yarn.resourcemanager. address 值（客户端-RM RPC）。必须为所有 RM 设置
yarn.resourcemanager
.scheduler.address.		ResourceManager、
客户端		（无）特定于群集此 RM 的yarn.resourcemanager. scheduler.address 值 (AM-RM RPC)必须为所有 RM 设置
yarn.resourcemanager
.admin.address.		ResourceManager、
客户端/管理员		（无）特定于群集此 RM 的yarn.resourcemanager. admin.address 值（RM 管理）。必须为所有 RM 设置
yarn.resourcemanager
.resource-tracker.address.		ResourceManager、
NodeManager		（无）特定于群集此 RM 的 yarn.resourcemanager. resource-tracker.address 值 (NM-RM RPC)必须为所有 RM 设置
yarn.resourcemanager
.webapp.address.		ResourceManager、
客户端		（无）特定于群集此 RM 的 yarn.resourcemanager. webapp.address 值 (RM webapp)。必须为所有 RM 设置
yarn.resourcemanager
.recovery.enabled		ResourceManagerfalsetrueRM 重启或故障转移时启用作业恢复
yarn.resourcemanager
.store.class		ResourceManagerorg.apache.hadoop
.yarn.server.resourcema
nager.recovery.
FileSystemRMStateStore		org.apache.hadoop.
yarn.server.resource
manager.recovery.
ZKRMStateStore		用于存储ResourceManager 内部状态的 RMStateStore 实现。基于 Zookeeper 的存储支持隐式隔离，即允许单个 ResourceManager 一次进行多项更改，所以推荐此操作
yarn.resourcemanager
.zk-address		ResourceManager（无）特定于群集用于存储 ResourceManager 内部状态的 ZooKeeper quorum
yarn.resourcemanager
.zk-acl		ResourceManagerworld:anyone:rwcda特定于群集ResourceManager 用于 znode 结构以存储内部状态的 ACL
yarn.resourcemanager
.zk-state-store.root-node.acl		ResourceManager（无）特定于群集用于 Zookeeper 状态存储的根节点的 ACL。此处设置的 ACL 应允许两个 ResourceManager 进行读取、写入和管理，拥有独占访问权限以创建和删除。如果未指定，将根据通过 yarn.resourcemanager.zk-acl 指定的 ACL，自动生成根节点 ACL。但这会在安全设置中留下安全漏洞

3.2 要配置自动故障转移：

在 yarn-site.xml 中配置以下额外属性，以配置自动故障转移。

3.3 配置工作保留恢复：

另外，您也可以为 Resource Manager 和 Node Manager 配置工作保留恢复。请参阅 用于 YARN 组件的工作保留恢复

名称用于默认值建议值说明
yarn.resourcemanager.
ha.automatic-failover.enabled		ResourceManagertruetrue启用自动故障转移
yarn.resourcemanager.ha.
automatic-failover.embedded		ResourceManagertruetrue使用 EmbeddedElectorService 从总体选择活动的 RM
yarn.resourcemanager.
cluster-id		ResourceManager无默认值特定于-群集ActiveStandbyElector 所使用的群集名称，用于选择其
中一个 ResourceManager 作为领导


以下是展示这些已配置属性的示例 yarn-site.xml，包括 RM 和 NM 的工作保留恢复：

<configuration>
<!-- Resource Manager Configs -->
  <property>
    <name>yarn.resourcemanager.connect.retry-interval.ms</name>
    <value>2000</value>
  </property>
  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>
  <property>
    <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
  <property>
    <name>yarn.resourcemanager.ha.automatic-failover.embedded</name>
    <value>true</value>
  </property>
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>pseudo-yarn-rm-cluster</value>
  </property>
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>
  <property>
    <name>yarn.resourcemanager.ha.id</name>
    <value>rm1</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
  </property>
  <property>
    <name>yarn.resourcemanager.recovery.enabled</name>
    <value>true</value>
  </property>
  <property>
    <name>yarn.resourcemanager.store.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  </property>
  <property>
    <name>yarn.resourcemanager.zk.state-store.address</name>
    <value>localhost:2181</value>
  </property>
  <property>
    <name>yarn.app.mapreduce.am.scheduler.connection.wait.interval-ms</name>
    <value>5000</value>
  </property>
  <property>
    <name>yarn.resourcemanager.work-preserving-recovery.enabled</name>
    <value>true</value>
  </property>

  <!-- RM1 configs -->
  <property>
    <name>yarn.resourcemanager.address.rm1</name>
    <value>host1:23140</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address.rm1</name>
    <value>host1:23130</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.https.address.rm1</name>
    <value>host1:23189</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address.rm1</name>
    <value>host1:23188</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
    <value>host1:23125</value>
  </property>
  <property>
    <name>yarn.resourcemanager.admin.address.rm1</name>
    <value>host1:23141</value>
  </property>

  <!-- RM2 configs -->
  <property>
    <name>yarn.resourcemanager.address.rm2</name>
    <value>host2:23140</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address.rm2</name>
    <value>host2:23130</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.https.address.rm2</name>
    <value>host2:23189</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>host2:23188</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
    <value>host2:23125</value>
  </property>
  <property>
    <name>yarn.resourcemanager.admin.address.rm2</name>
    <value>host2:23141</value>
  </property>

<!-- Node Manager Configs -->
  <property>
    <description>Address where the localizer IPC is.</description>
    <name>yarn.nodemanager.localizer.address</name>
    <value>0.0.0.0:23344</value>
  </property>
  <property>
    <description>NM Webapp address.</description>
    <name>yarn.nodemanager.webapp.address</name>
    <value>0.0.0.0:23999</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/tmp/pseudo-dist/yarn/local</value>
  </property>
  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/tmp/pseudo-dist/yarn/log</value>
  </property>
  <property>
    <name>mapreduce.shuffle.port</name>
    <value>23080</value>
  </property>
  <property>
    <name>yarn.resourcemanager.work-preserving-recovery.enabled</name>
    <value>true</value>
  </property>
</configuration>

3.4 重启 YARN daemon

启动所有节点（它们以前在其上运行）上的 MapReduce JobHistory Server、ResourceManager 和 NodeManager，如下所示：

sudo service hadoop-mapreduce-historyserver start
sudo service hadoop-yarn-resourcemanager start
sudo service hadoop-yarn-nodemanager start


四. 使用 yarn rmadmin 管理 ResourceManager HA

您可以使用命令行中的 yarn rmadmin 来管理您的 ResourceManager HA 部署。yarn rmadmin 具有与 RM HA 相关的以下选项：

[-transitionToActive serviceId]
[-transitionToStandby serviceId]
[-getServiceState serviceId]
[-checkHealth <serviceId]
[-help <command>]

其中，serviceId 为 rm-id。
Note: 即使 -help 列出 -failover 选项，yarn rmadmin 也不支持此选项。

该昵称已经被占用
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop3.2.0 YARN ResourceManager HA
张伯毅的专栏
02-21 4975
介绍 架构 RM故障转移 恢复以前的active-RM状态 部署 配置 管理员命令 ResourceManager Web UI服务 网页服务 负载均衡器设置 介绍 本指南概述了YARN ResourceManager的高可用性，并详细介绍了如何配置和使用此功能。ResourceManager（RM）负责跟踪集群中的资源，以及调度应用程序（例如，MapRedu...
Yarn ResourceManager HA配置
03-14
Yarn ResourceManager HA配置，Yarn ResourceManager HA配置
ResourceManager High Availability
Zephyr's Blog
01-01 1860
Apache 官方原文地址：http://hadoop.apache.org/docs/r2.5.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html一 简介 二 架构 1 RM 切换 11 手工故障切换 22 自动故障切换 23 在 RM 故障切换中的客户端ApplicationMaster 和 NodeManager 2 恢复之前 Activ
Hadoop生态圈（三十六）- YARN High Availability（HA）高可用集群
程序园@大Null
02-11 1755
YARN高可用集群搭建，HDFS高可用集群搭建，Zookeeper高可用集群搭建，Hadoop高可用集群搭建，故障转移原理，高可用 HA 架构
Hadoop-Yarn-ResourceManagerHA
lu070828的博客
02-11 2090
在Hadoop2.4之前，ResourceManager是YARN集群中的单点故障ResourceManager HA是通过 Active/Standby 体系结构实现的，在任何时候其中一个RM都是活动的，并且一个或多个RM处于备用模式，等待在活动发生任何事情时接管。1、判断配置文件中是否配置了HA开启2、如果开启了HA，开始配置并设置启动必要参数3、根据配置文件添加选举人4、获取ZooKeeper Curator管理器，创建并启动5、连接到ZooKeeper集合6、获取客户端框架并启动。
Yarn HA (High availability)的架构
Jaserok的博客
11-26 415
1.架构图 注释：此图的ZKFC是线程.作为RM进程的一个线程而非独立的守护进程来独立存在 什么是线程:线程 属于一个进程的里面的 除非特殊命令和工具才能看到 包含至少1个线程 叙述:MStateStore: a.RM把job信息存在在ZK的/rmstore下，activeRM会向这个目录写app信息 b.当active RM挂了，另外一个standby RM通过zkfc选举成功为act...
hadoop2.X新特性介绍
04-19
- **HA（High Availability）**：提供了一个热备NameNode，确保主NameNode故障时可以快速切换到备用NameNode。 - **MapReduce**： - **运行在YARN上的MR**：保留原有的编程模型，但通过YARN进行资源管理，提高了...
Hadoop2.10.1.tar.gz
最新发布
05-09
8. **Hadoop High Availability (HA)**：提供了NameNode的热备功能，确保即使NameNode故障，系统也能正常运行。 9. **Hadoop YARN Timeline Service**：提供应用程序历史记录和性能分析，有助于优化应用性能。 10....
Hadoop 2.0部署配置文件示例.zip
04-17
2. HDFS HA（High Availability）：为了解决NameNode单点故障问题，Hadoop 2.0实现了NameNode高可用，通过热备机制确保服务不间断。 3. 更强的容错性和可扩展性：通过改进的数据节点心跳机制和快速失败检测，Hadoop...
hadoop-2.4.0.tar.gz
05-16
- MapReduce 2.0 (MRv2)：基于YARN的新一代MapReduce框架，使得MapReduce与其他大数据处理框架如Spark、Tez等可以共存和交互。 - Container化：任务运行在YARN的Container中，提高了资源利用率和隔离性。 4. **...
Workload Management and High Availability v2.0
01-20
基本概念 请求路由 WAS中的负载管理和故障转移 集群 WebSphere中的高可用 负载管理和高可用配置管理 数据复制服务 核心组 HA策略 WAS的安装拓扑架构 总结和参考信息
Hadoop2.4.tgz下载
05-05
4. **MapReduce v2 (MRv2)**：引入了新的JobTracker和TaskTracker的替代者——ResourceManager和NodeManager，提高了任务调度效率。 在Linux环境中安装Hadoop 2.4时，通常会涉及以下步骤： 1. **环境准备**：确保...
Yarn 实现 ResourceManager HA
m0_57498038的博客
05-29 462
Hadoop 2.4.0版本开始，Yarn 实现了 ResourceManager HA 由于资源使用情况和 NodeManager 信息都可以通过 NodeManager 的心跳机制重新构建 出来，因此只需要对 ApplicationMaster 相关的信息进行持久化存储即可。 在一个典型的 HA 集群中，两台独立的机器被配置成 ResourceManger。在任意时间，有且 只允许一个活动的 ResourceManger,另外一个备用。切换分为两种方式： 手动切换：在自动
配置Yarn-Resourcemanager HA
墨玉浮白的博客
06-13 1512
1
Availability Management
CH读书笔记
04-23 497
Availability Management a.       Availability:  The ability of a component or service to perform its required function at a stated instant or over a stated period of time. 时间上来讲b.      Reliability
yarn3.2源码分析之ResourceManager基于zk的HA机制
lzf的博客
08-14 1311
概述 ResourceManager#serviceInit()方法 1、判断是否启动HA。如果yarn.resourcemanager.ha.enabled配置参数为true，则为启动HA。 2、如果启动HA，判断是否启用自动失败重启。如果yarn.resourcemanager.ha.automatic-failover.enabled配置参数为true，则为启动自动失败重启。如果启...
Yarn中Resource Manager HA集群搭建
逆天骚年的博客
04-09 2932
第一步：在master上打开hadoop的配置文件yarn-site.xml 加入以下内容&lt;configuration&gt; &lt;!-- Site specific YARN configuration properties --&gt; &lt;property&gt;    &lt;name&gt;yarn.resourcemanager.ha.enabled&lt;/name&g...
yarn.resourcemanager.ha.id设置
weixin_33701564的博客
11-18 185
resourcemanager启动报错，其中一个启动成功，另一个启动报8088端口被成功启动的rm占用 2016-11-18 17:08:49,478 INFO org.apache.zookeeper.ZooKeeper: Client environment:java.library.path=/usr/lib/hadoop/lib/native 2016-11-18 17:08:49,47...
ResourceManager HA 配置
沉潜飞动
07-11 7393
ResourceManager（RM）负责跟踪集群中资源使用情况，调度应用程序（比如MapReduce作业）。在Hadoop 2.4之前，ResourceManager存在单点故障，需要通过其他方式实现HA。官方给出的HA方案是Active/Standby两种状态ResourceManager的冗余方式，类似于HDFS的HA方案，也就是通过冗余消除单点故障。
YARN/MRv2状态机
05-19
YARN/MRv2状态机是指Apache Hadoop YARN（Yet Another Resource Negotiator）和MapReduce v2的状态转移图。这个状态机描述了YARN/MRv2中各个组件之间的交互和状态转换。 在YARN/MRv2中，有三个关键组件：ResourceManager、NodeManager和ApplicationMaster。ResourceManager负责全局资源管理和任务调度，NodeManager负责本地资源管理和任务执行，ApplicationMaster负责单个应用程序的任务调度和执行。 YARN/MRv2的状态机描述了这些组件之间的状态转换。例如，当ResourceManager接收到一个新的应用程序请求时，它将进入“ACCEPTED”状态。然后，ResourceManager将向NodeManager请求资源，并为应用程序分配一个ApplicationMaster。一旦这个过程完成，应用程序将进入“RUNNING”状态，其中ApplicationMaster将负责任务调度和执行。一旦应用程序完成，它将进入“FINISHED”状态，并释放所有使用的资源。 总之，YARN/MRv2状态机是YARN/MRv2中各个组件之间交互和状态转换的模型，它可以帮助我们更好地理解YARN/MRv2的工作原理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值