VMware中Ubuntu14.04下Spark虚拟集群安装运行步骤简述

安装过程简述

1.     创建一个虚拟机master，安装Ubuntu14.04（设置为NAT网络）。

2.     安装JDK1.8（jdk1.8.0_25）。

3.     安装SSH免密码登录。

4.     安装hadoop-1.2.1。

5.     安装scala-2.10.4。

6.     安装spark-1.0.1-bin-hadoop1。

7.     克隆虚拟机slave1。

8.     一定要记得把hadoop三个配置文件xml里的localhost改成master！要在http://master:50070里看到1个live nodes和http://master:8080里看到1个worker。

9.     设置网络连接，可以采用NAT方式。IP地址、子网掩码、网关IP（可在VMware的编辑网络的Vnet8里查看）。

10.  在master中，设置/etc/hostname为master，/etc/hosts为192.168.150.200 master，192.168.150.201 slave1。

11.  在slave1中，设置/etc/hostname为slave1，/etc/hosts为192.168.150.200 master，192.168.150.201 slave1。

12.  在master中，Ping一下slave1，初次SSH登录，ssh master，ssh slave1。

13.  重启2台虚拟机，可能会出现网络设备未托管的问题，sudo /etc/NetworkManager/NetworkManager.conf，将managed=false改