环境:Ubuntu kylin 14.04; JDK 8u-11; Scala2.10.4; Spark 1.0.1
主要流程参考自http://blog.csdn.net/zlcd1988/article/details/21177187,mark一下,防忘记。
1. 安装JDK
1.3 进入到该目录下
终端命令 cd /usr/lib/jvm3.1 下载
1.4 使用终端命令 sudo mv jdk1.8.0_11/ java-8u11-sun
这里就是把文件名改了一下,此时已经安装成功。
1.5 下面配置环境变量
//使用vim ~/.bashrc命令编辑,可能会权限不够而无法修改,需切换到root权限下进行操作即可。
//使用sudo vim ~./bashrc
不知道是不是在/.bashrc里设置环境变量的缘故,后来在运行spark的standalone application的时候$sbt package指令始终不行。安全起见还是改成命令
sudo vim /etc/profile
关于这两个的区别可以看博客
浅析linux 下的/etc/profile、/etc/bashrc、~/.bash_profile、~/.bashrc 文件
http://huhao1989.iteye.com/blog/1586020
1.6
打开/etc/profile之后,在底部加入一下命令(按s切换到输入状态)
export JAVA_HOME=/usr/lib/jvm/java-8u11-sun
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
保存退出的指令是 :wq
1.7
使用命令
source ~/.bashrc 或者 source /etc/profile 让之前的修改成效。
1.8 使用命令 java -version 查看
2. 安装 Scala 2.10.3
Spark 1.0.1 依赖 Scala 2.10.x, 我安装的是Scala 2.10.4。
下载地址: http://www.scala-lang.org/download/all.html
之后的操作:
$ mv scala-2.10.4 /usr/lib/scala
$ vim /etc/profile
# add the following lines at the end
export SCALA_HOME=/usr/lib/scala
export PATH=$PATH:$SCALA_HOME/bin
# save and exit vim
#make the bash profile take effect immediately
$source /etc/profile
# test
$ scala -version
3. 安装Spark
3.1 下载http://spark.apache.org/downloads.html
左边部分是需要下载之后还要手工编译的,右边都是预编译完成的。
spark-1.0.1.tgz
3.2 安装和配置
解压:
$ su root
# add the following lines at the end
export SPARK_HOME=/usr/lib/spark
# save and exit vim
#make the bash profile take effect immediately
$ source /etc/profile
$ ./sbt/sbt assembly
$SPARK_HOME/assembly/target/scala-2.10/spark-assembly-1.0.1-hadoop1.0.4.jar (jar名字可能不同)
打包成功后,屏幕打印信息类似于如下:
[info] SHA-1: dbdbe7f19095e2b611e0c363587432ef0a30108e
[info] Packaging /usr/lib/spark/assembly/target/scala-2.10/spark-assembly-1.0.1-hadoop1.0.4.jar ...
[info] Done packaging.
[success] Total time: 7071 s, completed July 17, 2014 9:56:22 AM
$ ./bin/run-example SparkPi 10