hadoop ----2 配置文件

Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。
（1）默认配置文件：

文件	功能	路径
core-default.xml	hadoop属性配置文件	hadoop-common-2.7.2.jar/ core-default.xml
hdfs-default.xml	配置文件的配置	hadoop-common-2.7.2.jar/ core-default.xml
yarn-default.xml	yarn配置文件	hadoop-common-2.7.2.jar/ core-default.xml
mapred-default.xmll	mr配置	hadoop-mapreduce-client-core-2.7.2.jar/ mapred-default.xml

（2）自定义配置文件：
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求重新进行修改配置

1.  core-site.xml :特定通用hadoop属性配置文件，该配置文件的配置项会覆盖core-default.xml中的相同配置项
   

2.  hdfs-site.xml: 配置文件的配置项会覆盖hdfs-default.xml中的相同配置项.
   

3.  Mapred-site.xml: 配置文件的配置项会覆盖mapred-default.xml的相同配置.
   

4.  Yarn.xml:配置文件的配置项会覆盖yarn-default.xml的相同配置.
   

1 单机模式

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

5简单配置

5.1配置core-site.xml

<property>
   	<name>fs.defaultFS</name>
     <value>hdfs://hadoop102:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
   	<name>hadoop.tmp.dir</name>
   	<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

5.2 HDFS配置文件

配置hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144
配置hdfs-site.xml

<property>
   	<name>dfs.replication</name>
   	<value>3</value>
</property>

<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
     <name>dfs.namenode.secondary.http-address</name>
     <value>hadoop104:50090</value>
</property>

5.3 YARN配置文件

配置yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144
配置yarn-site.xml

在该文件中增加如下配置
<!-- Reducer获取数据的方式 -->
<property>
   	<name>yarn.nodemanager.aux-services</name>
   	<value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
   	<name>yarn.resourcemanager.hostname</name>
   	<value>hadoop103</value>
</property>

（4）MapReduce配置文件
配置mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144
配置mapred-site.xml 
在该文件中增加如下配置
<!-- 指定MR运行在Yarn上 -->
<property>
  	<name>mapreduce.framework.name</name>
  	<value>yarn</value>
</property>

3．在集群上分发配置好的Hadoop配置文件

4．查看文件分发情况

参考

官网 https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/core-default.xml