Linux下的全分布式的HADOOP搭建（基于免密登录的）

Hadoop 完全分布模式搭建

需要的工具，已安装好的三台ssh免密登录虚拟机
IP master:192.168.42.121 slave1:192.168.42.122 slave2:192.168.42.123
Xshell,Xftp软件
Hadoop 完全分布式模式的搭建相关配置文件都在下面的目录下
/usr/local/src/hadoop/hadoop2.7/etc/hadoop
JDK的安装路径和HADOOP总文件在下面的路径
/usr/local/src

IP 192.168.42.121 192.168.42.122 192.168.42.123
映射名 master slave1 slave2

JDK解压安装

1.通过Xftp上传JDK软件包到 /usr/local/src（jdk-8u171-linux-x64.tar.gz）

2.在Xshell会话框中，输入命令解压
tar -zxvf jdk-8u171-linux-x64.tar.gz

3.修改jdk-8u171-linux-x64.tar.gz文件名为jdk1.8，输入
mv jdk1.8.0_171 jdk1.8

4.使用命令vi /etc/profile打开配置文件，将jdk1.8的环境变量配置到配置文件中，在配置文件中最后处输入命令：

export JAVA_HOME=/usr/local/src/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin

5.环境配置完成后，让配置文件生效，还需输入命令 ，输入命令 java -version查看
. /etc/profile

HADOOP解压安装

6.通过Xftp上传hadoop软件包到 /usr/local/src（jdk-8u171-linux-x64.tar.gz）

7.解压缩命令

tar -zxvf hadoop-2.7.1.tar.gz

8.修改hadoop-2.7.1.tar.gz文件名为hadoop2.7

mv hadoop-2.7.1 hadoop2.7

9.执行下面的命令配置 hadoop 环境变量。配置系统变量之后可在全局任意地方使用hadoop 命令。

vi /etc/profile

10.在文件的末尾添加下列内容。
#HADOOP

export HADOOP_HOME=/usr/local/src/hadoop/hadoop2.7
export PATH=$PATH:$HADOOP_HOME/bin 
export PATH=$PATH:$HADOOP_HOME/sbin

11.保存退出文件编辑之后执行下面的命令使得配置文件生效。

source /etc/profile 

12.执行下面的命令验证 hadoop 配置是否正确并生效。

hadoop version 

分发 hadoop 到节点

13.在 master 节点上执行下面的命令将 hadoop 文件夹中的所有内容拷贝到 slave1 和 slave2 节点上。

scp -r /usr/local/src/hadoop/hadoop2.7/etc/hadoop root@slave1:/usr/local/src/hadoop/hadoop2.7/etc

scp -r