#关键字:CentOS7、hadoop/hadoop3/hadoop3.0/hadoop3.x完全分布式集群
一、目标:
1、基于hadoop3在虚拟机上搭建3个节点的hadoop完全分布式集群。
2、集群部署规划:
主机名 服务名 |
hadoop3 | hadoop4 | hadoop5 |
HDFS | NameNode DataNode |
DataNode | SecondaryNameNode DataNode |
YARN | NodeManager | ResourceManager NodeManager |
NodeManager |
二、环境说明:
1、jdk:使用的版本是1.8.0_221,默认已经安装。
2、虚拟机:3台CentOS7系统的虚拟机,主机名分别是 hadoop3、hadoop4、hadoop5。
3、hadoop:版本 hadoop-3.2.2 ,下载地址。
4、系统用户:安装过程使用普通用户权限,本文使用的用户是 sspu
5、3台虚拟机需要配置免密登录,默认已经配置,没有配置的可自行配置。
6、Linux远程工具:SecureCRT。
7、建议配置 rsync 文件分发。
三、搭建步骤:
1、下载 hadoop3 压缩包:hadoop-3.2.2.tar.gz
1.1. 下载地址。
1.2. 截图。
2、上传压缩包到机器 hadoop3、hadoop4、hadoop5 节点并解压:
2.1. 上传压缩包 hadoop-3.2.2.tar.gz 到 hadoop3、hadoop4、hadoop5 /opt/module/目录。
2.2. hadoop-3.2.2.tar.gz 压缩包解压,这里以 hadoop3 节点为例说明,hadoop4、hadoop5节点操作相同。
[sspu@hadoop3 module]$ cd /opt/module
[sspu@hadoop3 module]$ tar -zxvf hadoop-3.2.2.tar.gz
3、添加 hadoop 到环境变量 (注意:hadoop3、hadoop4、hadoop5节点都要配置):
3.1. 编辑 /etc/profile 文件。
[sspu@hadoop3 hadoop-3.2.2]$ cd /opt/module/hadoop-3.2.2/
[sspu@hadoop3 hadoop-3.2.2]$ pwd
/opt/module/hadoop-3.2.2
[sspu@hadoop3 hadoop-3.2.2]$ sudo vim /etc/profile
3.2. 将 hadoop 配置到环境变量(shift+g 跳到 /etc/profile 文件最后一行)。
在文件最后添加如下内容:
##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.2.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
3.3. 保存退出,测试是否hadoop环境是否配置成功。
##让修改后的 /etc/profile 文件生效
[sspu@hadoop3 hadoop-3.2.2]$ source /etc/profile
##测试hadoop环境
[sspu@