Hadoop图形管理系统（三）

Hadoop的安装

1、下载Hadoop安装包，网址为：Index of /dist/hadoop/common，我们进入网站后下滑页面找到hadoop-3.2.1版本，这个版本相对稳定，然后打开。

2、下载成功后依旧在“下载”文件夹中，找到虚拟机桌面的文件系统，找到root目录，找到下载目录打开，如下图。（当然同学也可以放到自己的文件夹）

3、下载成功后，我们开始解压，命令：tar -zxvf hadoop-3.2.1.tar.gz -C /root/abc，解压成功后进入root/abc目录，就可以看到我们解压后的文件。使用命令mv hadoop-3.2.1 hadoop进行重命名

4、和JDK一样，我们安装完成后都需要配置环境变量，使用命令vi /etc/profile进入到该文件后，依旧在最后一行进行配置，参数如下（以下两行参数一定要把地址写对，如果你的地址是自己修改的，需要把第一行中的地址写为你修改的地址）修改完成后保存退出。使用命令source /etc/profile让修改完的配置生效。

配置参数如下：

export HADOOP_HOME=/root/abc/hadoop

export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

图1.1.1 配置profile文件

5、Hadoop是否安装配置成功我们还需要进行环境验证，使用命令hadoop version来验证我们的Hadoop环境是否安装成功，如下图，我们可以看到Hadoop的版本号以及其他信息，证明我们的Hadoop安装成功。

图1.1.2 hadoop环境验证

6、使用命令cd /root/abc/hadoop/etc/hadoop/进入到hadoop安装目录下，再进入到hadoop文件夹中，此文件夹放置的是hadoop的配置文件，我们需要更改其中几个文件，如下图。

 

 

图1.1.3 进入到hadoop安装目录

7、使用vi命令来更改名为hadoop-env.sh的文件，命令为vi hadoop-env.sh，打开文件后找到JAVA_HOME相关配置，把等于号后边的配置改为JDK的安装路径。（注意：地址要写对，是JDK的安装路径，不是hadoop。）然后保存退出，如图。

 

图1.1.4 配置hadoop-env.sh文件

8、修改core-site.xml文件，命令为vi core-site.xml，进入文档后，我们找到最后两行替换为以下配置，然后保存退出。

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop01:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/root/abc/hadoop/tmp</value>

</property>

图1.1.5 替换配置文件

9、修改hdfs-site.xml文件，命令为vi hdfs-site.xml。进入文档后，我们找到最后两行替换为以下配置，如下。然后保存退出。

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/root/abc/hadoop/tmp/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/root/abc/hadoop/tmp/dfs/data</value>

</property>

图1.1.6 替换配置文件

10、修改mapred-site.xml文件，命令为vi mapred-site.xml，进入文档后，我们找到最后两行替换为以下配置，如下。然后保存退出。

<!--指定MapReduce运行时框架，这里指定在Yarn上，默认是local -->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

图1.1.7 替换配置文件

11、修改yarn-site.xml文件，命令为vi yarn-site.xml。进入文档后，我们找到最后两行替换为以下配置，如下。然后保存退出。

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop01</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

图1.1.8 替换配置文件

12、修改worker文件，命令为vi worker，进入文档后，我们删除原有文件然后替换为以下内容。保存退出。

配置参数如下：

hadoop01

图1.1.9修改worker文件

13、第一次启动Hadoop集群时需要初始化，执行hdfs namenode -format命令。

14、初始化完成后启动hdfs和yarn。启动和关闭命令为start-yarn.sh、stop-yarn.sh；start-hdfs.sh、stop-yarn.sh

15、验证启动是否成功，使用jps或者访问http://10.0.0.159:9870/dfshealth.html#tab-datanode