基于Hadoop集群的Spark集群搭建

基于Hadoop集群的Spark集群搭建

注：Spark需要依赖scala，因此需要先安装scala

一、 简单叙述一下scala的安装

（1）下载scala软件安装包，上传到集群

（2）建立一个用于存放scala的目录，将上传的安装包移动到新建的目录下，并解压
移动文件：# mv scala-2.12.8.tgz ~/scala
解压文件：# tar -xzf scala-2.12.8.tgz

（3）修改环境变量
修改环境配置文件：# vi .bash_profile
添加如下配置信息(注意与自己的地址对应)
#scala environment
SCALA_HOME=/home/admin/scala/scala-2.12.8
PATH=$SCAL$