用三台云服务器搭建hadoop完全分布式集群

公司用的hadoop服务器是redhat系统的,不熟悉,所以自己利用休息时间,找以前公司同事借来两台云服务器搭建了hadoop集群.

首先集群的三个台机器分别是:

master 主机

node1

node2

1.首先修改主机名称:

[root@centos7 ~]# hostnamectl set-hostname master

输入 : exec bash

2.修改hosts文件

vi /etc/hosts

114.116.154.251 master

106.13.59.55  node1

139.107.101.223  node2

source /etc/hosts 

3.测试三台机器,是否ping通

在master 上分别ping node1    ping node2

同理在node1   \  node2上也分别作此操作

4.给三台主机生成密钥文件(这样启动集群节点就不必每次都输入登录密码了)

切换至 /root/.ssh/

touch authorized_keys文件

将三台机器得公钥id_rsa.pub 复制进authorized_keys文件

将文件分别复制到三台机器/root/.ssh文件夹

验证下：

ssh node1

ssh node2

exit

5.安装相同版本jdk(我安装的是jdk1.8)

注意配置文件一定要export JAVA_HOME
输入: vi etc/profile

export JAVA_HOME=/server/jdk/jdk1.8.0_181

export JRE_HOME=$JAVA_HOME/jre
CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
#PATH=$JAVA_HOME/bin:$PATH
export PATH=$PATH:$JAVA_HOME/bin

保存退出

6.新建server/hadoop文件夹

将上传的hadoop.tar.gz文件解压到该文件夹下

7.

#mkdir /server/hadoop/hadoop-