关闭

最新版scala2.11.8与spark1.6.1一步到位安装

标签: sparkscalahadoop压缩linux
4152人阅读 评论(0) 收藏 举报
分类:

一,scala安装:
先到官网下载一个scala的压缩包,它没有过多的要求,然后在Linux下按照如下步骤操作:
1,解压包:
hadoop@master:/mysoftwaretarzxvfscala2.11.8.tgz2hadoop@master:  sudo gedit /ect/profile
hadoop@master:/mysoftware/scala-2.11.8$ sudo gedit /etc/environment

export SCALA_HOME=/mysoftware/scala-2.11.8
 export PATH=$SCALA_HOME/bin:$PATH

这里写图片描述

3,使得这两个文件生效:
source /ect/profile
source /etc/environment

4,启动scala:
hadoop@master:/mysoftware/scala-2.11.8$ scala

看到scala的界面就表示安装成功啦。

二,安装spark:
要求:jdk1.7以上的版本。
下面讲步骤:
1,解压spark压缩包:
hadoop@master:/mysoftware$ tar -zxvf spark-1.6.1-bin-hadoop2.6.tgz

2,配置环境变量:
还是上面两个都配,内容:

    export SPARK_HOME=/mysoftware/spark-1.6.1-bin-hadoop2.6
export PATH=$SPARK_HOME/bin:$PATH

3,修改spark-env.sh文件,不过先要复制模板:
hadoop@master:/mysoftware/spark-1.6.1-bin-hadoop2.6/conf$ cp spark-env.sh.template spark-env.sh
sudo gedit spark-env.sh

export SCALA_HOME=/mysoftware/scala-2.11.8
export JAVA_HOME=/mysoftware/jdk1.7.0_80
export SPARK_MASTER_IP=192.168.61.128
export SPARK_WORKER_MEMORY=512m
export master=spark://192.168.61.128:7070

4,修改salves,改成自己设定的主机名,也要先复制模板:
hadoop@master:/mysoftware/spark-1.6.1-bin-hadoop2.6/conf$ cp slaves.template slaves
这里写图片描述

5,启动spark,看到以下两个进程,就表示OK啦!
这里写图片描述

1
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:97360次
    • 积分:2173
    • 等级:
    • 排名:第17553名
    • 原创:123篇
    • 转载:0篇
    • 译文:0篇
    • 评论:14条
    最新评论