ubuntu 14.04 Spark单机环境搭建

ubuntu 14.04 Spark单机环境搭建与实例使用
###
一.java环境
sudo apt-get install default-jdk
载jdk安装包解压进入/opt/目录
设置环境变量


vi /etc/profile


在最后添加


export JAVA_HOME=/opt/jdk1.8.0_60
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH
生效配置文件
$source /etc/profile


$java -version即可看见java版本信息


二、scala安装
apt-get install scala
路径  /usr/share/scala-2.11/bin/
查看 scala -version


apt-get remove scala


三、spark安装
官网下载压缩包
####解压进入/opt/saprk/目录
设置环境变量
$gedit /etc/profile
在最后添加
export SPARK_HOME=/opt/spark/spark-1.6.0/ 
export PATH=${SPARK_HOME}/bin:$PATH
生效配置文件





四.安装sbt
官网下载压缩包


解压进入/opt/scala/目录


配置环境变量 /etc/profile


ubuntu安装sbt
echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 642AC823
sudo apt-get update
sudo apt-get install sbt
在最后添加


export SBT_HOME=/opt/scala/sbt
export PATH=${SBT_HOME}/bin:$PATH
生效配置文件
建立sbt启动脚本
进入/opt/scala/sbt/bin编辑sbt文件，在最后添加
SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
java $SBT_OPTS -jar /opt/scala/sbt/bin/sbt-launch.jar "$@"
修改sbt文件权限
$chmod u+x sbt
测试sbt
$sbt sbt-version


五.安装git
$apt-get install git


六.进入/opt/spark/spark-1.6.0/
$set/set assembly
等待一段时间后环境搭建完成
七.运行spark自带实例
进入/opt/spark/spark-1.6.0
$./bin/run-example SparkPi 10 >  /Pi.txt


八、spark启动
启动主服务器节点
sbin/start-master.sh
启动从服务器节点
sbin/start-slaves.sh spark://127.0.0.1:7077
关闭分别使用
sbin/stop-master.sh
sbin/stop-slaves.sh