前言
配置Hadoop的主要5个文件
序号 | 配置文件名 | 配置对象 | 主要内容 |
---|---|---|---|
1 | hadoop-env.sh | hadoop运行环境 | 用来定义hadoop运行环境相关的配置信息 |
2 | core-site.xml | 集群全局参数 | 用于定义系统级别的参数,如HDFS URL 、Hadoop的临时目录等 |
3 | hdfs-site.xml | HDFS | 如名称节点和数据节点的存放位置、文件副本的个数、文件的读取权限等 |
4 | mapred-site.xml | Mapreduce参数 | 包括JobHistory Server 和应用程序参数两部分,如reduce任务的默认个数、任务所能够使用内存的默认上下限等 |
5 | yarn-site.xml | 集群资源管理系统参数 | 配置ResourceManager ,nodeManager的通信端口,web监控端口等 |
yarn-site.xml最重要的参数及其解释如下:
No. | 参数名 | 默认值 | 参数解释 |
---|---|---|---|
1 | yarn.resourcemanager.address | 0.0.0.0:8032 | ResourceManager(以下简称RM) 提供客户端访问的地址。客户端通过该地址向RM提交应用程序,杀死应用程序等 |
2 | yarn.resourcemanager.scheduler.address | 0.0.0.0:8030 | RM提供给ApplicationMaster的访问地址。ApplicationMaster同通过该地址向RM申请资源、释放资源等 |
3 | yarn,resoucemanager.resource.resource-tracker.address | 0.0.0.0:8031 | RM提供NodeManager的地址。NodeManager通过该地址向RM汇报心跳,领取任务等 |
4 | yarn.resourcemanager.admin.address | 0.0.0.0:8033 | RM提供管理员的访问地址。管理员通过该地址向RM发送管理命令等 |
5 | yarn.resourcemanager.webapp.address | 0.0.0.0:8088 | RM对web服务提供地址。用户可通过该地址在浏览器中查看集群各类信息 |
6 | yarn.nodemanager.aux-services | 通过该配置项,用户可以自定义一些服务,例如Map-Reduce的shuffle功能就是采用这种方式实现的,这样就可以在NodeManager上扩展自己的服务 |
本小节修改yarn.nodemanager.aux-services和yarn.resourcemanager.hostname参数为例
第一步
修改yarn-site.xml
修改前
修改后
解析:Nodemanager获取数据方式为shuffle方式;指定yarn的resourcemanager的地址。主机名或对应的IP地址均可。(无空格)
第三步:
保存并退出
进阶
通过hadoop官方网址查询yarn-site.xml配置信息,可以了解最新的全部的yarn-site.xml配置信息,而且包括一些过时的定义标识,从而更好地维护您的集群。
快速链接
上一篇 | 汇总目录 | 下一篇 |
---|---|---|
5.2.4 修改mapred-site.xml配置文件 (四) | 云计算数据平台-hadoop集群 | 5.2.6 配置hadoop环境变量 |