Hadoop-3.0.0环境搭建

硬件：两台以上不同机器，可以用虚拟机

服务器上在vmware文件夹中有vmware的安装程序，也有虚拟机的镜像文件。

需要的包在ftp上也有：jdk-8u161-linux-x64.tar.gz

                                   hadoop-3.0.0.tar.gz

系统：Ubuntu-17.0.4

搭建步骤

1. 修改hostname： ubuntu@ubuntu:~$ sudo vim /etc/hostname

    将原来的主机名其中一台配master，其他的配slave1、slave2.... 无所谓生效不生效，可以继续下一步，如果想看到改过的主机名，则输入reboot重启。

2. 修改host： ubuntu@master:~$ sudo vim /etc/hosts

    只需要添加类似最后两行的配置信息。将需要用到的slave的ip都加进去

    如果是单机单节点伪分布式，只需要配置master，并且master前面的ip可以设置为127.0.0.1.

3. 安装jdk

    将ftp中的jdk-8u161-linux-x64.tar.gz下载下来，使用以下指令解压并移动：

    ubuntu@master:~$ sudo mkdir -p

    ubuntu@master:~$ tar -zxvf ~/Desktop/jdk-8u161-linux-x64.tar.gz -C  /usr/local/jvm

    然后配置/etc/profile文件：ubuntu@master:~$ sudo vim /etc/profile

   

    然后配置/.bashrc:  ubuntu@master:~$ sudo vim ~/.bashrc

    在最后加入 source /etc/profile，这个举动可以使每次打开命令行时都可以让profile生效

    然后在命令行输入 java -version，没有报错则设置成功

4. 安装Hadoop

    将ftp中的hadoop-3.0.0.tar.gz下载解压，并解压移动重命名：

    ubuntu@master:~$ tar -zxvf ~/Desktop/hadoop-3.0.0.tar.gz -C /usr/local/

    ubuntu@master:~$ sudo mv /usr/local/hadoop-3.0.0 /usr/local/hadoop

    ubuntu@master:~$ sudo chown -R ubuntu:ubuntu /usr/local/hadoop

    修改workers文件：ubuntu@master:$ sudo vim /usr/local/hadoop/etc/hadoop/workers

    可能有些人会看之前的配置文档，配的是slaves文件，hadoop更新到3.0.0后