搭建环境
三台机器系统均为ubuntu16.0.4,内存8g,16g,16g.一台做master,另外两台做slave,安装的是jdk1.8.0, hadoop2.7.3, scala2.11.8, spark2.1.0-bin-hadoop2.7
搭建顺序
安装hadoop2.7.3
安装scala2.11.8
安装spark-2.1.0-bin-hadoop2.7
搭建Hadoop2.7.3
参考 Hadoop2.7.3完全分布式集群搭建和测试 这篇博客,亲测可行。
1.修改电脑hostname和hosts文件,将电脑名称在改为hostname文件里修分别改为Master,Slave1, Slave2,并在hosts文件里加入另外两台电脑的信息(IP地址以及电脑名称),如下:
#修改hostname的命令
sudo vim /etc/hostname