Spark集群安装

需要的软件包：

Spark1.0.2

Scala2.10.4

 

一、安装Scala

sudo apt-get install scala-2.10.4 #安装scala

Scala  –version                    #检查刚刚安装的scala版本

[hadoop@hadoop2 ~]$ scala  #进入scala命令行交互模式

做简单运算看下运行结果：

至此，scala安装完成。其余节点安装scala同上。

二、安装Spark

tar -zxvf spark-1.0.2-bin-hadoop1.tgz  #解压文件

配置环境变量：

配置spark

cp spark-env.sh.template spark-env.sh  #拷贝文件

配置spark-env.sh文件，添加如下信息：

vim slaves     #将所有节点加入到slaves中。

其余节点saprk配置同上

三、启动spark

[hadoop@hadoop1 sbin]$ ./start-all.sh   #启动spark集群

使用JPS查看节点启动进程：

 

可以发现进程中，多了两个进程master和worker。

同样方法查看其余节点：

可以发现，节点多了一个进程worker。

四、访问WEB界面，看集群情况

浏览器输入http://localhost:8080

 

 

至此，安装全部完成。