修改yarn-site.xml配置文件

35 篇文章 12 订阅
31 篇文章 4 订阅

前言

配置Hadoop的主要5个文件

序号配置文件名配置对象主要内容
1hadoop-env.shhadoop运行环境用来定义hadoop运行环境相关的配置信息
2core-site.xml集群全局参数用于定义系统级别的参数,如HDFS URL 、Hadoop的临时目录等
3hdfs-site.xmlHDFS如名称节点和数据节点的存放位置、文件副本的个数、文件的读取权限等
4mapred-site.xmlMapreduce参数包括JobHistory Server 和应用程序参数两部分,如reduce任务的默认个数、任务所能够使用内存的默认上下限等
5yarn-site.xml集群资源管理系统参数配置ResourceManager ,nodeManager的通信端口,web监控端口等

yarn-site.xml最重要的参数及其解释如下:

No.参数名默认值参数解释
1yarn.resourcemanager.address0.0.0.0:8032ResourceManager(以下简称RM) 提供客户端访问的地址。客户端通过该地址向RM提交应用程序,杀死应用程序等
2yarn.resourcemanager.scheduler.address0.0.0.0:8030RM提供给ApplicationMaster的访问地址。ApplicationMaster同通过该地址向RM申请资源、释放资源等
3yarn,resoucemanager.resource.resource-tracker.address0.0.0.0:8031RM提供NodeManager的地址。NodeManager通过该地址向RM汇报心跳,领取任务等
4yarn.resourcemanager.admin.address0.0.0.0:8033RM提供管理员的访问地址。管理员通过该地址向RM发送管理命令等
5yarn.resourcemanager.webapp.address0.0.0.0:8088RM对web服务提供地址。用户可通过该地址在浏览器中查看集群各类信息
6yarn.nodemanager.aux-services通过该配置项,用户可以自定义一些服务,例如Map-Reduce的shuffle功能就是采用这种方式实现的,这样就可以在NodeManager上扩展自己的服务

  本小节修改yarn.nodemanager.aux-services和yarn.resourcemanager.hostname参数为例

第一步

  修改yarn-site.xml
在这里插入图片描述

  修改前
在这里插入图片描述
  修改后

在这里插入图片描述

  解析:Nodemanager获取数据方式为shuffle方式;指定yarn的resourcemanager的地址。主机名或对应的IP地址均可。(无空格)

第三步:

  保存并退出

进阶

  通过hadoop官方网址查询yarn-site.xml配置信息,可以了解最新的全部的yarn-site.xml配置信息,而且包括一些过时的定义标识,从而更好地维护您的集群。

快速链接

上一篇汇总目录下一篇
5.2.4 修改mapred-site.xml配置文件 (四) 云计算数据平台-hadoop集群 5.2.6 配置hadoop环境变量
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值