Hadoop 3.x集群搭建教程【图文】

目录

一、配置服务器

1.1 .nat模式下的dhcp自动配ip

1.2 配置hosts

二、 配置ssh无密码访问

2.1 生成公钥密钥对

2.2 将子节点的公钥拷贝到主节点并添加进authorized_keys

2.3 最后测试是否配置成功

2.4 将主节点的authorized_keys文件分别替换子节点的authorized_keys文件

三、安装jdk

3.1卸载jdk

3.2安装JDK（三台机器都要安装）

3.3测试是否安装成功：

四、安装hadoop

五、配置hadoop

5.1 配置hadoop配置文件

5.1.1 hadoop-env.sh中

5.1.2 core-site.xml中

5.1.3 hdfs-site.xml中

5.1.4 yarn-site.xml中

5.1.5 mapred-site.xml

5.1.6 workers中

5.2 拷贝hadoop安装文件到子节点

5.3 格式化主节点的namenode

5.4 启动hadoop 

---

一、配置服务器

1.1 .nat模式下的dhcp自动配ip

首先输入

vi /ect/sysconfig/network-s

进入其实，将ONBOOT=no改成NONBOOT=yes

再按Esc输入：wq保存退出

重启网络：

service  network  restart

Ping一下，测试一下网络是否通了

输入ip add查看ip地址（可知主节点IP：192.168.48.128，两个从节点分别为192.168.48.129   192.168.48.130）

 

配置主节点名（192.168.48.128）

vi /etc/sysconfig/network

添加内容：

NETWORKING=yes
HOSTNAME=master

简要说明：

配置两台子节点名(192.168.48.129)和(192.168.48.130)

vi /etc/sysconfig/network

添加内容：

NETWORKING=yes
HOSTNAME=slaver1

 

       

 

vi /etc/sysconfig/network

添加内容：

NETWORKING=yes
HOSTNAME=slaver2

1.2 配置hosts

打开主节点的hosts文件，要将文件的前两行注释掉 (注释当前主机的信息)并在文件中添加所有hadoop集群的主机信息。

vi /etc/hosts

192.168.48.128   master
192.168.48.129   slaver1
192.168.48.130   slaver2

保存之后，将主节点的hosts分别拷贝到其他两个子节点

scp /etc/hosts root@192.168.48.129:/etc/

scp /etc/hosts root@192.168.48.130:/etc/

（下边的生效命令不需要执行也可以，但名字显示不出来，最好重启或者使用命令）

然后分别执行(重启服务器也可以不执行下面的语句):

reboot

二、 配置ssh无密码访问

2.1 生成公钥密钥对

在每个节点上分别执行：

ssh-keygen -t rsa