Ubuntu16.0.4下搭建Spark2.1.0-bin-Hadoop2.7

搭建环境

三台机器系统均为ubuntu16.0.4,内存8g,16g,16g.一台做master,另外两台做slave，安装的是jdk1.8.0, hadoop2.7.3, scala2.11.8, spark2.1.0-bin-hadoop2.7

搭建顺序

1. 安装hadoop2.7.3

2. 安装scala2.11.8

3. 安装spark-2.1.0-bin-hadoop2.7

搭建Hadoop2.7.3

参考 Hadoop2.7.3完全分布式集群搭建和测试 这篇博客，亲测可行。
1.修改电脑hostname和hosts文件，将电脑名称在改为hostname文件里修分别改为Master，Slave1, Slave2，并在hosts文件里加入另外两台电脑的信息(IP地址以及电脑名称)，如下：

#修改hostname的命令
sudo vim /etc/hostname