Hadoop3.1.2安装文档

目前大数据课程中的Hadoop版本由2.9.2升级到3.1.2，Hadoop 3.1.2的集群搭建过程与2.9.2相比有些不同，其详细安装步骤如下所述。
一、安装JDK
1.解压缩
本文档所使用的Java的Linux安装版本是jdk-8u231-linux-x64.tar.gz，首先需要对其进行解压缩操作：
tar -xzvf jdk-8u231-linux-x64.tar.gz -C …/servers
2.重命名
mv jdk*** jdk
3.更新配置文件
vi /etc/profile

#JAVA_HOME
export JAVA_HOME=/opt/isoftstone/servers/jdk
export PATH=$JAV{A}_{H}OME/bin:$PATH

:wq

source /etc/profile
4.验证JDK
java -version

二、安装Hadoop 3.1.2
本文档展示了Hadoop全分布式的安装过程，对于Hadoop伪分布式的安装可在此文档的基础上调整。
一、集群规划
本集群规划共有三台服务器，分别是hadoop01、hadoop02、hadoop03，如下表所示：
框架 hadoop01 hadoop02 hadoop03
HDFS NameNode
SecondaryNameNode DataNode
DataNode
Yarn ResourceManager NodeManager NodeManager
二、全分布式部署
1.解压缩
首先对Hadoop 3.1.2的安装包进行解压缩操作，如下：
tar -zxvf apache-hive-3.1.2-bin.tar.gz -C …/servers

查看是否解压成功
ll /opt/isoftstone/servers/hadoop-3.1.2

● bin目录:对Hadoop进行操作的相关命令，如：hadoop,hdfs等
● etc目录：Hadoop的配置文件目录，如：hdfs-site.xml,core-site.xml等
● lib目录：Hadoop本地库（解压缩的依赖）
● sbin目录：存放的是Hadoop集群启动和停止相关脚本、命令
● share目录：Hadoop的⼀些jar、官⽅案例jar、⽂档等

添加Hadoop到环境变量
vi /etc/profile

export HDFS_DATANODE_USER=root
export HDFS_DATANODE_SECURE_USER=root
export HDFS_NAMENODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

#HADOOP_HOME
export HADOOP_HOME=/opt/isoftstone/servers/hadoop-3.1.2
export PATH= P A T H : PATH: