修改mapred-site.xml配置文件

35 篇文章 12 订阅
31 篇文章 4 订阅

前言

配置Hadoop的主要5个文件

序号配置文件名配置对象主要内容
1hadoop-env.shhadoop运行环境用来定义hadoop运行环境相关的配置信息
2core-site.xml集群全局参数用于定义系统级别的参数,如HDFS URL 、Hadoop的临时目录等
3hdfs-site.xmlHDFS如名称节点和数据节点的存放位置、文件副本的个数、文件的读取权限等
4mapred-site.xmlMapreduce参数包括JobHistory Server 和应用程序参数两部分,如reduce任务的默认个数、任务所能够使用内存的默认上下限等
5yarn-site.xml集群资源管理系统参数配置ResourceManager ,nodeManager的通信端口,web监控端口等

mapred-site.xml最重要的参数及其解释如下:

No.参数名默认值参数解释
1mapreduce.framework.namelocal取值local、classic或yarn其中之一,如果不是yarn,则不会使用yarn集群来实现资源的分配
2mapreduce.jobhistory.address0.0.0.0:10020定义历史服务器的地址和端口,通过历史服务器查看已经运行完的Mapreduce作业记录
3mapreduce.jobhistory.webapp.address0.0.0.0:19888定义历史服务器web应用访问的地址和端口

  本小节修改mapreduce.framework.name参数为例
在这里插入图片描述

第一步:

  先重名mapre-site.xml.template文件
  修改前:
在这里插入图片描述

  修改后
在这里插入图片描述

第二步:

  修改mapred-site.xml
在这里插入图片描述

  修改前
在这里插入图片描述
  修改后
在这里插入图片描述
  解析:指明hadoop的MR将来运行于YARN上。Yarn为资源调度系统(可运行MR,STORM,SPARK等计算框架)

第三步:

  保存并退出

进阶

  通过hadoop官方网址查询mapred-site.xml配置信息,可以了解最新的全部的mapred-site.xml配置信息,而且包括一些过时的定义标识,从而更好地维护您的集群。

快速链接

上一篇汇总目录下一篇
 5.2.3 修改hdfs-site.xml配置文件(三) 云计算数据平台-hadoop集群   5.2.5 修改yarn-site.xml配置文件(五)
  • 9
    点赞
  • 46
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值