hadoop学习(四)--------升级为spark集群

我们在hadoop集群的基础上构建spark集群。

1.下载对应的spark版本

前面我们使用的hadoop1.2.1，所以要从spark网站下载对应的spark版本。

http://spark.apache.org/downloads.html

注意要选择pre-duild for Haddop 1.x版本，这样我们下载好的是对应hadoop版本编译好的spark版本。如果下载源码包，需要我们自己动手编译，比较复杂。

2.安装scala

这里下载的是scala2.11.6版本.spark源码用scala写成，所以要下载一个scala的编译器。

2.1建立/usr/lib/scala目录

2.2解压scala文件

2.3修改环境变量~/.bashrc,将scala的bin目录加到PATH里。

3.安装spark

3.1建立目录/usr/local/spark

3.2将下载好的spark-1.2.1-bin-hadoop1.tgz解压

3.3修改~/.bashrc将spark的bin目录加到PATH环境变量里

4.配置spark

4.1进入conf目录

4.2copy spark-env.sh.template spark-env.sh

添加如下信息:

export JAVA_HOME=/usr/lib/java/jdk1.7.0_15   #JAVA安装目录
export SCALA_HOME=/usr/lib/scala/scala-2.11.6  #scala安装目录
export SPARK_MASTER_IP=