ubuntu 14.04 Spark单机环境搭建与实例使用

一.java环境

下载jdk安装包解压进入/opt/目录

设置环境变量

$gedit /etc/profile

在最后添加

export JAVA_HOME=/opt/jdk1.8.0_60
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH

生效配置文件

$source /etc/profile

$java -version即可看见java版本信息

二.安装Scala

去Scala官网下载Scala安装包

解压进入/opt/scala/目录

设置环境变量

$gedit /etc/profile

在最后添加

export SCALA_HOME=/opt/scala/scala-2.11.7
export PATH=${SCALA_HOME}/bin:$PATH

生效配置文件即输入scala -version即可查看版本信息

三.安装spark

官网下载压缩包

解压进入/opt/saprk/目录

设置环境变量

$gedit /etc/profile

在最后添加

export SPARK_HOME=/opt/spark/spark-1.6.0/ 
export PATH=${SPARK_HOME}/bin:$PATH

生效配置文件

四.安装sbt

官网下载压缩包

解压进入/opt/scala/目录

配置环境变量 /etc/profile

在最后添加

export SBT_HOME=/opt/scala/sbt
export PATH=${SBT_HOME}/bin:$PATH

生效配置文件

建立sbt启动脚本

进入/opt/scala/sbt/bin编辑sbt文件，在最后添加

SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
java $SBT_OPTS -jar /opt/scala/sbt/bin/sbt-launch.jar "$@"

修改sbt文件权限

$chmod u+x sbt

测试sbt

$sbt sbt-version

五.安装git

$apt-get install git

六.进入/opt/spark/spark-1.6.0/

$set/set assembly

等待一段时间后环境搭建完成

七.运行spark自带实例

进入/opt/spark/spark-1.6.0

$./bin/run-example SparkPi 10 >  /Pi.txt

运行成功后即可在根目录的Pi.txt里面得到Pi的计算值