Hadoop搭建笔记（22）

本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。

感谢过程中帮助我的各位认识的和不认识的老师。

38、Hadoop的集群配置02：

[root@hadoop01 hadoop-2.7.1]# ll ./etc/hadoop/mapred-site.xml.template

-rw-r--r--. 1 10021 10021 758 Jun 29  2015 ./etc/hadoop/mapred-site.xml.template

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

[root@hadoop01hadoop-2.7.1]#mv./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

第四个配置文件： vi ./etc/hadoop/mapred-site.xml

< configuration >

<!--指定mapreduce运行框架-->

【mapreduce跑的框架在yarn之上】

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>   

<final>ture</final>

</property >

<!--历史服务的通信地址-->

【mapreduce.jobhistory.address：历史服务的内部通信地址】

<property>

<name>mapreduce.jobhistory.address</name>

<value>hadoop01:10020</value>   

【默认的端口号：10020】

</property >

<!--历史服务的web ui地址-->

<property>

<name>mapreduce.jobhistory.webapp.address </name>

<value>hadoop01:19888</value>   

</property >

第五个配置文件：  vi ./etc/hadoop/yarn-site.xml

< configuration >

<!--指定rm所启动的服务主机名-->

【（rm: resourcemanager）resourcemanager要启动的节点】

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop01</value>

【因为resourcemanager规划在hadoop01上面】   

</property>

<!--指定mr的shuffle-->

【（mr: mapreduce）没有这个，下面运型mapreduce，会报错】

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>   

</property>

<!--指定rm的内部通信地址-->

<property>

<name>yarn. .resourcemanager.address</name>

<value>hadoop01:8032</value>   

</property>

<!--指定rm的scheduler内部通信地址-->

<property>

<name>yarn. .resourcemanager.scheduler.address</name>

<value>hadoop01:8030</value>   

</property>

<!--指定rm的resource-tracker内部通信地址-->

<property>

<name>yarn. .resourcemanager.resource-tracker.address</name>

<value>hadoop01:8031</value>   

</property>

<!--指定rm的admin内部通信地址-->

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>hadoop01:8033</value>   

【803几开始的就是yarn的一些内部通信地址】

</property>

<!--指定rm的web ui监控地址-->

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>hadoop01:8033</value>   

</property>

第六个配置文件：：vi ./etc/hadoop/slaves 

【slaves：奴隶的意思，老大找小弟就靠这个文件】

[root@hadoop01 hadoop-2.7.1]# vi ./etc/hadoop/slaves

删除：localhost

输入：

hadoop01

hadoop02

hadoop03

 

实际操作配置：

进入hadoop的目录：

[root@hadoop01 ~]# cd $HADOOP_HOME

[root@hadoop01 hadoop-2.7.1]#

配六个相关文件：

第1个：vi ./ect/hadoop/hadoop-env.sh

[root@hadoop01 hadoop-2.7.1]# vi ./ect/hadoop/hadoop-env.sh

之前已经配置过：export JAVA_HOME=/usr/local/jdk1.8.0_144/

第2个：vi ./ect/hadoop/core-site.xml

[root@hadoop01 hadoop-2.7.1]# vi ./ect/hadoop/core-site.xml (配置了三项：)

<configuration>

<!--配置hdfs文件系统的命名空间-->

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop01:9001</value>

</property >

<!--配置操作hdfs的缓冲大小-->

<property>

<name>io.file.buffer.size</name>

<value>4096</value>

</property>

<!--配置临时数据存储目录-->

<property>

<name>hadoop.tmp.dir</name>

<value>/home/bigdata/tmp</value>

</property>

</configuration>

第3个：vi ./ect/hadoop/hdfs-site.xml

[root@hadoop01 hadoop-2.7.1]# vi ./ect/hadoop/hdfs-site.xml

<configuration>

<!--配置副本数 -->

<property>

<name>dfs.replication</name>

<value>3</value>

</property>

<!--块大小-->

<property>

<name>dfs.block.size</name>

<value>134217728</value>

</property>

<!--hdfs的元数据存储的位置-->

<property>

<name>dfs.namenode.name.dir</name>

<value>/home/hadoopdata/dfs/name</value>

</property>

<name>dfs.namenode.name.dir</name>

<value>/home/hadoopdata/dfs/name</value>

</property>

<!--hdfs的数据存储的位置-->

<property>

<name>dfs.datanode.data.dir</name>

<value>/home/hadoopdata/dfs/data</value>

</property>

<!--hdfs的检测目录-->

<property>

<name>fs.checkpoint.dir</name>

<value>/home/hadoopdata/checkpoint/dfs/cname</value>

</property>

<!--hdfs的namenode的web ui地址-->

<property>

<name>dfs.http.address</name>

<value>hadoop01:50070</value>

</property>

<!--hdfs的snn的web ui地址-->

<property>

<name>dfs.secondary.http.address</name>

<value>hadoop01:50090</value>

</property>

<!--是否开启web操作hdfs -->

<property>

<name>dfs.webhdfs.enabled</name>

<value>false</value>

</property>

<!--是否起用hdfs的权限(acl)-->

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

第4个：vi ./etc/hadoop/mapred-site.xml

[root@hadoop01 hadoop-2.7.1]# ll ./etc/hadoop/mapred-site.xml.template

-rw-r--r--. 1 10021 10021 758 Jun 29  2015 ./etc/hadoop/mapred-site.xml.template

[root@hadoop01 hadoop-2.7.1]# mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

[root@hadoop01 hadoop-2.7.1]# vi ./etc/hadoop/mapred-site.xml

<configuration>

<!--指定mapreduce运行框架-->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

<final>true</final>

</property >

<!--历史服务的通信地址-->

<property>

<name>mapreduce.jobhistory.address</name>

<value>hadoop01:10020</value>

</property>

<!--历史服务的web ui地址-->

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>hadoop01:19888</value>

</property>

</configuration>

 </