Yarn分布式集群环境部署

YARN配置

在Hadoop-HA高可用分布式环境中改造

NN-1 NN-2 DN ZK ZKFC JNN RM NM
node01 * * *
node02 * * * * * *
node03 * * * * *
node04 * * * *

node01:

1)mapred-site.xml

<!--开启mapreduce.framework-yarn-->
  <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
  </property>

2)yarn-site.xml

配置RS

 <property>
        <name>yarn.nodemanager.aux-services</name>
        
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop分布式集群部署主要涉及以下几个步骤: 1. 准备环境:首先确保所有节点都满足Hadoop的硬件和软件要求。每个节点应该有足够的磁盘空间和内存,并且安装了相应的操作系统和Java运行时环境。 2. 配置SSH免密登录:为了方便集群节点之间的通信,需要配置SSH免密登录。这样可以在不需要密码的情况下远程登录到其他节点。 3. 安装Hadoop:在所有节点上安装Hadoop软件包。可以从Apache Hadoop官方网站下载最新版本的二进制包,并解压到每个节点的相同目录下。 4. 配置Hadoop:编辑Hadoop的配置文件,包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml。这些配置文件定义了Hadoop的各种参数,如文件系统路径、副本数量、任务调度器等。 5. 设置主从关系:在集群中选择一个节点作为主节点(通常是NameNode),其他节点作为从节点(通常是DataNode)。主节点负责管理文件系统和任务调度,从节点负责存储数据和执行任务。 6. 启动Hadoop集群:首先启动主节点上的Hadoop服务,包括NameNode、ResourceManager和JobHistoryServer。然后按顺序启动从节点上的Hadoop服务,包括DataNode和NodeManager。 7. 验证集群:使用Hadoop提供的命令行工具,如hdfs dfs、yarn和mapred,验证集群是否正常工作。可以上传文件到HDFS、提交MapReduce作业并查看作业状态。 这些步骤只是一个基本的概述,具体的部署过程可能因为不同的操作系统、Hadoop版本和集群规模而有所不同。在部署过程中,建议参考Hadoop官方文档和其他相关资源,以获得更详细的指导和最佳实践。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值