Linux上安装Hadoop集群(CentOS8+hadoop-3.3.1)

首先准备两个压缩文件 hadoop和jdk，本文使用的是hadoop3.3.1 和 jdk-8u291-linux-x64。

然后安装3个虚拟机，其实只需要安装好一个，然后其他两个克隆就可以了。

这里使用的linux系统是centos8,安装详情参考该连接博客

http://blog.csdn.net/pucao_cug/article/details/71229416

安装好后是这样的

 

使用ifconfig命令，查看这3个机器的IP,并且使用命令hostname修改机器的hostname，最后其对应关系为下表

IP地址	hostname	虚拟机名称
192.168.136.129	server1	centos1
192.168.136.130	server2	centos2
192.168.136.131	server3	centos3

 

修改后可以尝试ping 一下其他几个机器。

ping -c 3 server1、2、3

 

 

首先进入root用户防止有过多麻烦

Su root

再进入sudoers将本机用户加入root用户权限

visudo

 

进入vim编辑sudoer界面按esc，然后:100定位到root    ALL=(ALL)       ALL。安I进入编辑模式，在下面加入用户名  ALL=(ALL)   NOPASSWD:ALL，然后esc 输入:wq退出保存。

查看是否安装SSH client、SSH server，集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上面运行命令）

rpm -qa | grep ssh

 

如果发现没有openssh-server 或者openssh-clients时,如仅有clients。

命令：sudo yum install openssh-server

同理如果仅有server时

命令：sudo yum install openssh-clients