HADOOP HA yarn-site.xml

 2.3. Minimum Settings for Automatic ResourceManager HA Configuration
The minimum yarn-site.xml configuration settings for ResourceManager
                HA with automatic failover are as follows:
   <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>

    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>192.168.1.9</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>192.168.1.10</value>
    </property>

    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>

    <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>

    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>192.168.1.9:2181,192.168.1.10:2181</value>
        <description>For multiple zk services, separate them with comma</description>
    </property>

    <property>
          <name>yarn.resourcemanager.cluster-id</name>
          <value>yarn-cluster</value>
        </property>
Testing ResourceManager HA on a Single
                Node
If you would like to test ResourceManager HA on a single node (launch more than one
                ResourceManager on a single node), you need to add the following settings in                    yarn-site.xml:
To enable ResourceManager "rm1" to launch:
<property>
        <name>yarn.resourcemanager.ha.id</name>
        <value>rm1</value>
        <description>If we want to launch more than one RM in single node, we need this configuration</description>
    </property>
To enable ResourceManager "rm2" to launch:
<property>
        <name>yarn.resourcemanager.ha.id</name>
        <value>rm2</value>
        <description>If we want to launch more than one RM in single node, we need this configuration</description>
    </property>
You should also explicitly set values specific to each ResourceManager for the
                following properties:
yarn.resourcemanager.address.<rm‐id>
yarn.resourcemanager.scheduler.address.<rm‐id>
yarn.resourcemanager.admin.address.<rm‐id>
yarn.resourcemanager.resource‐tracker.address.<rm‐id>
yarn.resourcemanager.webapp.address.<rm‐id> separately in
                                yarn‐site.xml
For example:
    <!-- RM1 Configs -->
    <property>
        <name>yarn.resourcemanager.address.rm1</name>
        <value>localhost:23140</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm1</name>
        <value>localhost:23130</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>localhost:23188</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
        <value>localhost:23125</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address.rm1</name>
        <value>localhost:23141</value>
    </property>


    <!-- RM2 configs -->
    <property>
        <name>yarn.resourcemanager.address.rm2</name>
        <value>localhost:33140</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm2</name>
        <value>localhost:33130</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>localhost:33188</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
        <value>localhost:33125</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address.rm2</name>
        <value>localhost:33141</value>
    </property>


转载于:https://my.oschina.net/u/1169079/blog/266144

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop YARN 中,HA 集群是指将多个 YARN ResourceManager 节点组成一个高可用的集群,以提高系统的可靠性和稳定性。在 HA 集群中,多个 ResourceManager 节点可以相互备份,以保证在某个节点故障时,系统仍能正常运行。 在配置 YARN HA 集群时,可以使用环境变量来设置一些参数,以便更好地控制 HA 集群的行为。下面介绍如何使用环境变量配置 YARN HA 集群。 1. 配置 yarn-site.xml 文件 首先,在 yarn-site.xml 文件中配置 HA 相关的参数。以下是一个示例配置: ``` <property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property> <property> <name>yarn.resourcemanager.cluster-id</name> <value>mycluster</value> </property> <property> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value> </property> <property> <name>yarn.resourcemanager.hostname.rm1</name> <value>rm1-hostname</value> </property> <property> <name>yarn.resourcemanager.hostname.rm2</name> <value>rm2-hostname</value> </property> ``` 其中: - yarn.resourcemanager.ha.enabled 表示开启 HA 功能; - yarn.resourcemanager.cluster-id 表示 HA 集群的唯一标识符; - yarn.resourcemanager.ha.rm-ids 表示 HA 集群中每个 ResourceManager 的标识符; - yarn.resourcemanager.hostname.rm1 和 yarn.resourcemanager.hostname.rm2 分别表示每个 ResourceManager 的主机名。 2. 配置环境变量 接下来,需要配置环境变量来指定 HA 集群的一些参数。以下是一个示例配置: ``` export HADOOP_YARN_HOME=/usr/local/hadoop-2.7.3 export YARN_CONF_DIR=$HADOOP_YARN_HOME/etc/hadoop export YARN_RESOURCEMANAGER_HA_RM_IDS=rm1,rm2 export YARN_RESOURCEMANAGER_HA_RM-1_HOSTNAME=rm1-hostname export YARN_RESOURCEMANAGER_HA_RM-2_HOSTNAME=rm2-hostname export YARN_RESOURCEMANAGER_HA_CLUSTER_ID=mycluster ``` 其中: - HADOOP_YARN_HOME 表示 YARN 的安装路径; - YARN_CONF_DIR 表示 YARN 的配置文件路径; - YARN_RESOURCEMANAGER_HA_RM_IDS 表示 HA 集群中每个 ResourceManager 的标识符; - YARN_RESOURCEMANAGER_HA_RM-1_HOSTNAME 和 YARN_RESOURCEMANAGER_HA_RM-2_HOSTNAME 分别表示每个 ResourceManager 的主机名; - YARN_RESOURCEMANAGER_HA_CLUSTER_ID 表示 HA 集群的唯一标识符。 3. 启动 YARN 最后,启动 YARN,并检查 HA 集群是否正常工作。可以使用以下命令启动 YARN: ``` $YARN_HOME/sbin/yarn-daemon.sh start resourcemanager ``` 注意,这里的 $YARN_HOME 是指 YARN 的安装路径。启动成功后,可以通过 Web 界面或命令行工具来检查 HA 集群的状态。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值