hadoop3相关配置

一、hadoop部署

	master	slave1	slave2
namenode	是
secondarynamenode		是
datanode	是	是	是
resourcemanager			是
nodemanager	是	是	是
jobhistory		是

二、相关设置

1、主机名与ip映射：hosts文件

验证：ping master,ping slave1,ping slave2

hosts文件要传送至slave1,slave2。思考原因？（让slave1和slave2可以通过主机名ping通对方）

2、免密

与之前默认部署区别，“老大”部署位置要留意，由老大带动一群小弟，老大对小弟要有免密权限。

之前免密设置：master->master,master->slave1,master->slave2

现最好设置：master,slave1,slave2之间相互免密

master->master,master->slave1,master->slave2

slave1->master,master->slave1,master->slave2

slave2->master,master->slave1,master->slave2

3、java环境支持

master,slave1,slave2，环境变量/etc/profile设置

验证：java -version,javac

slave1,slave2可传送，并验证。

4、hadoop安装

先在master中解压安装，并设置环境变量，然后验证。

最后根据部署要求进行相关配置设置。然后分发给slave1,slave2。在master（namenode）中进行格式化。

验证：启动验证。（注意启动位置）

master中启动：start-dfs.sh。namenode部署位置

单节点启动命令,如：hdfs  --daemon  start  namenode

slave2中启动：start-yarn.sh。resourcemanager部署位置

slave1中启动历史服务器。jobhistory部署位置

淘汰的命令：mr-jobhistory-daemon.sh start historyserver

mapred --daemon start historyserver

三、相关配置

在hadoop安装目录下依次创建hadoopDatas/tempDatas,hadoopDatas/namenodesDatas,hadoopDatas/datanodeDatas,hadoopDatas/dfs/nn/edits,hadoopDatas/dfs/snn/name,hadoopDatas/dfs/nn/snn/edits

1、hadoop-env.sh配置。

export HDFS_NAMENODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export HDFS_DATANODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

export JAVA_HOME=/app/jdk1.8   java家目录位置

2、works

master

slave1

slave2

3、core-site.xml

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9820</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/app/hadoop3.1/hadoopDatas/tempDatas</value>

</property>

4、hdfs-site.xml

<property>

<name>dfs.namenode.name.dir</name>

<value>/app/hadoop3.1/hadoopDatas/namenodeDatas</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/app/hadoop3.1/hadoopDatas/datanodeDatas</value>

</property>

<property>

<name>dfs.namenode.edits.dir</name>

<value>/app/hadoop3.1/hadoopDatas/dfs/nn/edits</value>

</property>

<property>

<name>dfs.namenode.checkpoint.dir</name>

<value>/app/hadoop3.1/hadoopDatas/dfs/snn/name</value>

</property>

<property>

<name>dfs.namenode.checkpoint.edits.dir</name>

<value>/app/hadoop3.1/hadoopDatas/dfs/nn/snn/edits</value>

</property>

<property>

<name>dfs.replication</name>     副本数

<value>3</value>

</property>

<property>

#secondarynamenode 节点

<name>dfs.namenode.secondary.http-address</name>

<value>slave1</value>

</property>

5、mapreduce-site.xml

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>slave2:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>slave2:19888</value>

</property>

6.yarn-site.xml

<property>

<name>yarn.resourcemanager.hostname</name>

<value>slave3</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>