硬件:两台以上不同机器,可以用虚拟机
服务器上在vmware文件夹中有vmware的安装程序,也有虚拟机的镜像文件。
需要的包在ftp上也有:jdk-8u161-linux-x64.tar.gz
hadoop-3.0.0.tar.gz
系统:Ubuntu-17.0.4
搭建步骤
1. 修改hostname: ubuntu@ubuntu:~$ sudo vim /etc/hostname
将原来的主机名其中一台配master,其他的配slave1、slave2.... 无所谓生效不生效,可以继续下一步,如果想看到改过的主机名,则输入reboot重启。
2. 修改host: ubuntu@master:~$ sudo vim /etc/hosts
只需要添加类似最后两行的配置信息。将需要用到的slave的ip都加进去
如果是单机单节点伪分布式,只需要配置master,并且master前面的ip可以设置为127.0.0.1.
3. 安装jdk
将ftp中的jdk-8u161-linux-x64.tar.gz下载下来,使用以下指令解压并移动:
ubuntu@master:~$ sudo mkdir -p
ubuntu@master:~$ tar -zxvf ~/Desktop/jdk-8u161-linux-x64.tar.gz -C /usr/local/jvm
然后配置/etc/profile文件:ubuntu@master:~$ sudo vim /etc/profile
然后配置/.bashrc: ubuntu@master:~$ sudo vim ~/.bashrc
在最后加入 source /etc/profile,这个举动可以使每次打开命令行时都可以让profile生效
然后在命令行输入 java -version,没有报错则设置成功
4. 安装Hadoop
将ftp中的hadoop-3.0.0.tar.gz下载解压,并解压移动重命名:
ubuntu@master:~$ tar -zxvf ~/Desktop/hadoop-3.0.0.tar.gz -C /usr/local/
ubuntu@master:~$ sudo mv /usr/local/hadoop-3.0.0 /usr/local/hadoop
ubuntu@master:~$ sudo chown -R ubuntu:ubuntu /usr/local/hadoop
修改workers文件:ubuntu@master:$ sudo vim /usr/local/hadoop/etc/hadoop/workers
可能有些人会看之前的配置文档,配的是slaves文件,hadoop更新到3.0.0后