初学者CentOS7安装hadoop-2.8.0集群详细过程以及问题解决

博客参考https://blog.csdn.net/wl0909/article/details/53354999

一、安装前准备

1. VMware-workstation-full-10.0.4
2. CentOS-7-x86_64-DVD-1804.iso镜像
3. jdk-8u181-linux-x64.tar.gz
4. hadoop-2.8.0.tar.gz

• 二、安装过程

1. 虚拟机设置

（1）3台虚拟机

一台命名master，作为namenode节点

一台命名slave1, 作为datanode节点

一台命名slave2, 作为datanode节点

（2）虚拟机配置

     每台虚拟机设置2g内存（选1g后边hadoop计算会报内存不够）

   提示：先安装并配置好master，然后克隆master两次得到slave1和slave2)

(

(3) 虚拟机名字修改

安装完三台虚拟机后，分别修改它们的主机名字为master 、slave1、slave2

查看主机名字：hostname

修改主机名字：hostname master

(4) IP设置

   1）分别从三个虚拟机获取IP 地址，使用vim /etc/hosts

   2）将三台机子的IP地址以及对应的主机名添加到文件/etc/hosts (三台虚拟机都需要做这个步骤)

 

 

（5）SSH免密码登录

1）使用命令ssh-keygen -t rsa 生成公钥（三个机器都需要进行这个步骤）

2）在/root/.ssh文件夹下，可以看到产生了两个文件

3）将三台机器的公钥放到文件authorized_keys里

   cat id_rsa.pub >> authorized_keys（master）

   scp authorized_keys root@slave1:/root/.ssh (将带有master的公钥的文件authorized_keys 传到机器slave1的/root/.ssh文件夹内)

   cat id_rsa.pub >> authorized_keys（slave1）

   slave2同理，最后在每台机器上都存放带有三台机器公钥的authorized_keys文件

 

4）ssh无密码登录测试

三台机器之间是可以互相登录的

 

2. 安装JDK (三台机器都需要安装)

（1）卸载虚拟机自带的JDK

      CentOS7会自带JDK， 所以我选择卸载自带的再自行