Spark 安装

环境:CentOS 6.3, Hadoop 1.1.2, JDK 1.6, Spark 1.0.0, Scala 2.10.3

在安装开始前，请大家务必明白，spark 版本不一样，有些细节是不一样的。之前我是以0.9.0讲解的，为了和最新版本一致，我以1.0.0 作为版本重新介绍如何安装spark 1.0.0。

1. 安装JDK 1.7

yum search openjdk-devel
sudo yum install java-1.7.0-openjdk-devel.x86_64
/usr/sbin/alternatives --config java
/usr/sbin/alternatives --config javac
sudo vim /etc/profile
# add the following lines at the end
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.19.x86_64
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
# save and exit vim
# make the bash profile take effect immediately
$ source /etc/profile
# test
$ java -version

2. 安装 Scala 2.10.3

Spark 1.0.0 依赖 Scala 2.10.x, 我安装的是Scala 2.10.3.

下载地址： http://www.scala-lang.org/download/all.html

$ tar -zxf scala-2.10.3.tgz$ su root
$ mv scala-2.10.3 /usr/lib/scala
$ vim /etc/profile
# add the following lines at the end
export SCALA_HOME=/usr/lib/scala
export PATH=$PATH:$SCALA_HOME/bin
# save and exit vim
#make the bash profile take effect immediately
source /etc/profile
# test
$ scala -version

3. 安装Spark

3.1 下载

下载Spark，大家可以下载已经编译过的版本，这样下载之后不需要再编译。但已经编译的版本里面都预制了Hadoop版本，为了与我们的开发环境一致，建议大家下载未编译版本，这样可以指定我们所在环境的Hadoop 版本。

http://spark.apache.org/downloads.html

左边部分是需要下载之后还要手工编译的，右边都是预编译完成的。

spark-1.0.0.tgz

3.2 安装和配置

解压：

$ tar -zxf spark-1.0.0.tgz
$ su root$ cp spark-1.0.0 /usr/lib/spark$ vim /etc/profile
# add the following lines at the end
export SPARK_HOME=/usr/lib/spark
# save and exit vim
#make the bash profile take effect immediately
$ source /etc/profile

编译：

$ cd $SPAKR_HOME
$ ./sbt/sbt assembly

请耐心等待，sbt 会自动编译，下载依赖包，打包，所以可能需要好长时间。如果发生卡死现象，把命令重新运行下，已下号的jar包不会重新再下。打好的jar包在

$SPARK_HOME/assembly/target/scala-2.10/spark-assembly-1.0.0-hadoop1.0.4.jar  (jar名字可能不同)

打包成功后，屏幕打印信息如下：

[info] SHA-1: dbdbe7f19095e2b611e0c363587432ef0a30108e
[info] Packaging /usr/lib/spark/assembly/target/scala-2.10/spark-assembly-1.0.0-hadoop1.0.4.jar ...
[info] Done packaging.
[success] Total time: 7071 s, completed Mar 20, 2014 10:42:43 AM

3.3 测试Spark

$ cd $SPARK_HOME
$ ./bin/run-example SparkPi 10

 

配置完成！！！！