Hadoop配置文件详解
概述
Hadoop默认配置文件
配置文件 | 描述 | 位置 |
---|---|---|
core-default.xml | 默认的核心hadoop属性文件 | 位于:Hadoop-common-2.10.1.jar |
hdfs-default.xml | 默认的HDFS属性配置文件 | 位于:hadoop-hdfs-2.10.1.jar |
mapred-default.xml | 默认mapreduce属性配置文件 | 位于:mapreduce-client-core-2.10.1.jar |
yarn-default.xml | 默认的YARN属性配置文件 | 位于:yarn-common-2.10.1.jar |
Hadoop自定义配置文件
存放在$HADOOP_HOME/etc/hadoop
这个路径里,用户可以根据项目需求重新进行修改配置
配置文件 | 功能描述 |
---|---|
hadoop-env.sh | 配置 Hadoop 运行所需的环境变量 |
core-site.xml | Hadoop 核心全局配置文件,可在其他配置文件中引用该文件 |
hdfs-site.xml | HDFS 配置文件,继承 core-site.xml 配置文件 |
mapred-site.xml | MapReduce 配置文件,继承 core-site.xml 配置文件 |
yarn-site.xml | YARN 配置文件,继承 core-site.xml 配置文件 |
当然还有slaves文件,记录集群的主机名。
hadoop-env.sh
文件中设置的是Hadoop运行时需要的环境变量。JAVA_HOME是必须设置的,即使我们当前的系统中设置了JAVA_HOME,它也是不认识的,因为Hadoop即使是在本机上执行,它也是把当前的执行环境当成远程服务器。
# 修改前
# The java implementation to use.
export JAVA_HOME=${JAVA_HOME}
# 修改后
# The java implementation to use.
export JAVA_HOME=/app/java/jdk1.8.0_181
core-site.xml
核心全局配置文件
<!-- Put site-specific property overrides in this file. -->
<configuration>
<!--
用于设置Hadoop的文件系统,由URI指定
默认协议file:///属于本地路径,由于之后要用HDFS,因此需要修改为hdfs://主机名(ip):端口(内部的一个通讯)
-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:9000</value>
</property>
<!-- 配置Hadoop存储数据目录,默认/tmp/hadoop-${user.name} -->
<property>
<name>hadoop.tmp.dir</name>
<value>file:/app/hadoop-2.10.1/tmp</value>
</property>
<!-- 缓冲区大小,实际工作中根据服务器性能动态调整 -->
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<!-- 开启hdfs的垃圾桶机制,删除掉的数据可以从垃圾桶中回收,单位分钟 -->
<property>
<name>fs.trash.interval</name>
<value>10080</value>
</property>
</configuration>
hdfs-sit.xml
Hadoop的底层存储配置文件,主要配置HDFS相关参数
<!-- Put site-specific property overrides in this file. -->
<configuration>
<!-- namenode存储hdfs名字的空间的元数据文件目录 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/app/hadoop-2.10.1/dfs/name</value>
</property>
<!-- datanode上的一个数据块的物理的存储位置文件 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/app/hadoop-2.10.1/dfs/data</value>
</property>
<!-- 指定HDFS保存数据副本的数量 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 设置一个block的大小:128M-->
<property>
<name>dfs.blocksize</name>
<value>134217728</value>
</property>
<!-- 定义namenode界面的访问地址 -->
<property>
<name>dfs.http.address</name>
<value>node1:50070</value>
</property>
<!-- 定义secondarynamenode的通信地址 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node2:50071</value>
</property>
<!-- 设置HDFS的文件权限-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<!-- 指定DataNode的节点配置文件 -->
<property>
<name>dfs.hosts</name>
<value>/app/hadoop-2.10.1/etc/hadoop/slaves</value>
</property>
</configuration>
mapred-site.xml
Hadoop默认只有个模板文件mapred-site.xml.template,需要使用该文件复制出来一份mapred-site.xml文件
yarn 的 web 地址 和 history 的 web 地址以及指定我们的 mapreduce 运行在 yarn 集群上
<!-- Put site-specific property overrides in this file. -->
<configuration>
<!-- 指定 MapReduce 程序运行在 Yarn 上,表示MapReduce使用yarn框架 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- 开启MapReduce小任务模式 -->
<property>
<name>mapreduce.job.ubertask.enable</name>
<value>true</value>
</property>
<!-- 设置历史任务的主机和端口 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>node1:10020</value>
</property>
<!-- 设置网页访问历史任务的主机和端口 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>node1:19888</value>
</property>
</configuration>
yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- NodeManager获取数据的方式shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node1</value>
</property>
<!-- yarn的web访问地址 -->
<property>
<description>
The http address of the RM web application.
If only a host is provided as the value,
the webapp will be served on a random port.
</description>
<name>yarn.resourcemanager.webapp.address</name>
<value>${yarn.resourcemanager.hostname}:8088</value>
</property>
<property>
<description>
The https address of the RM web application.
If only a host is provided as the value,
the webapp will be served on a random port.
</description>
<name>yarn.resourcemanager.webapp.https.address</name>
<value>${yarn.resourcemanager.hostname}:8090</value>
</property>
<!-- 开启日志聚合功能,方便我们查看任务执行完成之后的日志记录 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 设置聚合日志在hdfs上的保存时间 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
</configuration>
slaves
slaves文件里面记录的是集群主机名。一般有以下两种作用:
-
配合一键启动脚本如start-dfs.sh、stop-yarn.sh用来进行集群启动。这时候slaves文件里面的主机标记的就是从节点角色所在的机器。
-
配合hdfs-site.xml里面dfs.hosts属性形成一种白名单机制。
dfs.hosts指定一个文件,其中包含允许连接到NameNode的主机列表。必须指定文件的完整路径名,那么所有在slaves中的主机才可以加入的集群中。如果值为空,则允许所有主机。
cd /app/hadoop-2.10.1/etc/hadoop
vi slaves
# 删除slaves中的localhost,然后添加以下内容
node1
node2
node3