最新版scala2.11.8与spark1.6.1一步到位安装

原创 2016年05月31日 20:55:30

一,scala安装:
先到官网下载一个scala的压缩包,它没有过多的要求,然后在Linux下按照如下步骤操作:
1,解压包:
hadoop@master:/mysoftwaretarzxvfscala2.11.8.tgz2hadoop@master:  sudo gedit /ect/profile
hadoop@master:/mysoftware/scala-2.11.8$ sudo gedit /etc/environment

export SCALA_HOME=/mysoftware/scala-2.11.8
 export PATH=$SCALA_HOME/bin:$PATH

这里写图片描述

3,使得这两个文件生效:
source /ect/profile
source /etc/environment

4,启动scala:
hadoop@master:/mysoftware/scala-2.11.8$ scala

看到scala的界面就表示安装成功啦。

二,安装spark:
要求:jdk1.7以上的版本。
下面讲步骤:
1,解压spark压缩包:
hadoop@master:/mysoftware$ tar -zxvf spark-1.6.1-bin-hadoop2.6.tgz

2,配置环境变量:
还是上面两个都配,内容:

    export SPARK_HOME=/mysoftware/spark-1.6.1-bin-hadoop2.6
export PATH=$SPARK_HOME/bin:$PATH

3,修改spark-env.sh文件,不过先要复制模板:
hadoop@master:/mysoftware/spark-1.6.1-bin-hadoop2.6/conf$ cp spark-env.sh.template spark-env.sh
sudo gedit spark-env.sh

export SCALA_HOME=/mysoftware/scala-2.11.8
export JAVA_HOME=/mysoftware/jdk1.7.0_80
export SPARK_MASTER_IP=192.168.61.128
export SPARK_WORKER_MEMORY=512m
export master=spark://192.168.61.128:7070

4,修改salves,改成自己设定的主机名,也要先复制模板:
hadoop@master:/mysoftware/spark-1.6.1-bin-hadoop2.6/conf$ cp slaves.template slaves
这里写图片描述

5,启动spark,看到以下两个进程,就表示OK啦!
这里写图片描述

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

用java编写spark程序,简单示例及运行

import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.a...

Spark2.1.1<scala版本不兼容问题>

今天在拆分以下数据集的时候area,perimeter,compactness,lengthOfKernel,widthOfKernel,asymmetryCoefficient,lengthOfKe...
  • Gpwner
  • Gpwner
  • 2017-06-14 20:43
  • 1511

scala,spark版本冲突问题

scala版本:2.11.0,spark版本:1.61。官网上说的是这个版本啊:Note: Scala 2.11 users should download the Spark source pack...

Scala安装

Windows下安装Scala 环境Win10。下载安装文件scala-2.11.8.msi(http://www.scala-lang.org/download/2.11.8.html) 设置环境...

商务英语枪手BEC中级代考QQ571156222BEC高级替考

商务英语枪手BEC中级代考QQ571156222BEC高级替考商务英语枪手BEC中级代考QQ571156222BEC高级替考商务英语枪手BEC中级代考QQ571156222BEC高级替考商务英语枪手B...

Scala2.11.8 + Sbt + Maven + IntelliJ Idea + Spark2.0开发环境搭建备忘

已有hadoop yarn 和 spark 集群部署、运行在分布式环境中,程序开发编码在PC上,由于逐渐增多scala编写spark2.0程序,入乡随俗使用sbt和IntelliJ Idea,顺便对P...

spark1.6.1及scala2.11.8安装配置

首先,安装spark之前需要安装配置的软件有:JDK,Scala,ssh,Hadoop这些开发平台的安装配置在我之前的博客中都有详细的攻略,需要的请去看看。 hadoop安装配置再此提一句,无论是h...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)