前言
配置Hadoop的主要5个文件
序号 | 配置文件名 | 配置对象 | 主要内容 |
---|---|---|---|
1 | hadoop-env.sh | hadoop运行环境 | 用来定义hadoop运行环境相关的配置信息 |
2 | core-site.xml | 集群全局参数 | 用于定义系统级别的参数,如HDFS URL 、Hadoop的临时目录等 |
3 | hdfs-site.xml | HDFS | 如名称节点和数据节点的存放位置、文件副本的个数、文件的读取权限等 |
4 | mapred-site.xml | Mapreduce参数 | 包括JobHistory Server 和应用程序参数两部分,如reduce任务的默认个数、任务所能够使用内存的默认上下限等 |
5 | yarn-site.xml | 集群资源管理系统参数 | 配置ResourceManager ,nodeManager的通信端口,web监控端口等 |
mapred-site.xml最重要的参数及其解释如下:
No. | 参数名 | 默认值 | 参数解释 |
---|---|---|---|
1 | mapreduce.framework.name | local | 取值local、classic或yarn其中之一,如果不是yarn,则不会使用yarn集群来实现资源的分配 |
2 | mapreduce.jobhistory.address | 0.0.0.0:10020 | 定义历史服务器的地址和端口,通过历史服务器查看已经运行完的Mapreduce作业记录 |
3 | mapreduce.jobhistory.webapp.address | 0.0.0.0:19888 | 定义历史服务器web应用访问的地址和端口 |
本小节修改mapreduce.framework.name参数为例
第一步:
先重名mapre-site.xml.template文件
修改前:
修改后
第二步:
修改mapred-site.xml
修改前
修改后
解析:指明hadoop的MR将来运行于YARN上。Yarn为资源调度系统(可运行MR,STORM,SPARK等计算框架)
第三步:
保存并退出
进阶
通过hadoop官方网址查询mapred-site.xml配置信息,可以了解最新的全部的mapred-site.xml配置信息,而且包括一些过时的定义标识,从而更好地维护您的集群。
快速链接
上一篇 | 汇总目录 | 下一篇 |
---|---|---|
5.2.3 修改hdfs-site.xml配置文件(三) | 云计算数据平台-hadoop集群 | 5.2.5 修改yarn-site.xml配置文件(五) |