一.java环境
下载jdk安装包解压进入/opt/目录
设置环境变量
$gedit /etc/profile
在最后添加
export JAVA_HOME=/opt/jdk1.8.0_60 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH生效配置文件
$source /etc/profile
$java -version即可看见java版本信息
二.安装Scala
去Scala官网下载Scala安装包
解压进入/opt/scala/目录
设置环境变量
$gedit /etc/profile
在最后添加
export SCALA_HOME=/opt/scala/scala-2.11.7 export PATH=${SCALA_HOME}/bin:$PATH生效配置文件即输入scala -version即可查看版本信息
三.安装spark
官网下载压缩包
解压进入/opt/saprk/目录
设置环境变量
$gedit /etc/profile
在最后添加
export SPARK_HOME=/opt/spark/spark-1.6.0/ export PATH=${SPARK_HOME}/bin:$PATH生效配置文件
四.安装sbt
官网下载压缩包
解压进入/opt/scala/目录
配置环境变量 /etc/profile
在最后添加
export SBT_HOME=/opt/scala/sbt export PATH=${SBT_HOME}/bin:$PATH生效配置文件
建立sbt启动脚本
进入/opt/scala/sbt/bin编辑sbt文件,在最后添加
SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M" java $SBT_OPTS -jar /opt/scala/sbt/bin/sbt-launch.jar "$@"修改sbt文件权限
$chmod u+x sbt
测试sbt
$sbt sbt-version
五.安装git
$apt-get install git
六.进入/opt/spark/spark-1.6.0/
$set/set assembly
等待一段时间后环境搭建完成
七.运行spark自带实例
进入/opt/spark/spark-1.6.0
$./bin/run-example SparkPi 10 > /Pi.txt
运行成功后即可在根目录的Pi.txt里面得到Pi的计算值