最新版scala2.11.8与spark1.6.1一步到位安装

原创 2016年05月31日 20:55:30

一,scala安装:
先到官网下载一个scala的压缩包,它没有过多的要求,然后在Linux下按照如下步骤操作:
1,解压包:
hadoop@master:/mysoftwaretarzxvfscala2.11.8.tgz2hadoop@master:  sudo gedit /ect/profile
hadoop@master:/mysoftware/scala-2.11.8$ sudo gedit /etc/environment

export SCALA_HOME=/mysoftware/scala-2.11.8
 export PATH=$SCALA_HOME/bin:$PATH

这里写图片描述

3,使得这两个文件生效:
source /ect/profile
source /etc/environment

4,启动scala:
hadoop@master:/mysoftware/scala-2.11.8$ scala

看到scala的界面就表示安装成功啦。

二,安装spark:
要求:jdk1.7以上的版本。
下面讲步骤:
1,解压spark压缩包:
hadoop@master:/mysoftware$ tar -zxvf spark-1.6.1-bin-hadoop2.6.tgz

2,配置环境变量:
还是上面两个都配,内容:

    export SPARK_HOME=/mysoftware/spark-1.6.1-bin-hadoop2.6
export PATH=$SPARK_HOME/bin:$PATH

3,修改spark-env.sh文件,不过先要复制模板:
hadoop@master:/mysoftware/spark-1.6.1-bin-hadoop2.6/conf$ cp spark-env.sh.template spark-env.sh
sudo gedit spark-env.sh

export SCALA_HOME=/mysoftware/scala-2.11.8
export JAVA_HOME=/mysoftware/jdk1.7.0_80
export SPARK_MASTER_IP=192.168.61.128
export SPARK_WORKER_MEMORY=512m
export master=spark://192.168.61.128:7070

4,修改salves,改成自己设定的主机名,也要先复制模板:
hadoop@master:/mysoftware/spark-1.6.1-bin-hadoop2.6/conf$ cp slaves.template slaves
这里写图片描述

5,启动spark,看到以下两个进程,就表示OK啦!
这里写图片描述

版权声明:本文为博主原创文章,未经博主允许不得转载。

scala-2.11.8

  • 2017年03月29日 17:04
  • 27.35MB
  • 下载

scala-2.11.8

  • 2017年06月07日 16:52
  • 27.35MB
  • 下载

Spark 1.5.2(Scala 2.11)版本的编译与安装

Spark于11月9号又将几个BUG解决之后,release一个较新的版本。作为spark的追随者,于是开始重新进行spark的编译。 有了前面的编译经验和之前下载好的java类包,花了大概...
  • sparkexpert
  • sparkexpert
  • 2015年11月16日 20:46
  • 1612

maven编译spark1.6.2

1.1 搭建环境 1.1.1 安装并设置maven 1. 下载maven安装包,建议安装3.0以上版本,本次安装选择的是maven3.3.3的二进制包,下载地址如下 http://mirror.bi...
  • levy_cui
  • levy_cui
  • 2016年04月13日 14:31
  • 934

Spark1.6.1平台搭建(hadoop-2.7.2 scala-2.11.8)

0 说明0.1 备注建立文件夹(sparkdir、hadoop、java、scala、spark) 每台机器均有 /usr/sparkdir /hadoop ...
  • qingqingdeaini
  • qingqingdeaini
  • 2016年07月15日 22:44
  • 2751

linux下Scala的安装

1、进入官网下载tgz文件:scala-2.11.8.tgz 2、tar -xzvf scala-2.11.8.tgz (把压缩包先copy到/opt目录下,然后执行该命令) 安装路径为/op...
  • fsz9065
  • fsz9065
  • 2016年07月05日 11:45
  • 1681

Spark1.6源码编译

一、前言 不论是spark还是hadoop、flume等,都建议新手在学习时自己进行手动编译,在第一次编译时肯定会遇到很多问题,大家要摆正心态,一定会有所收货。本文将中重点讲解apache版本和...
  • huangyu1985
  • huangyu1985
  • 2017年01月08日 16:34
  • 707

spark编译教程—maven

spark编译教程—maven  编译环境准备  几种常见的编译方式  编译问题总结  常见编译参数...
  • yanran1991326
  • yanran1991326
  • 2015年06月15日 18:41
  • 4991

Scala2.11.8 + Sbt + Maven + IntelliJ Idea + Spark2.0开发环境搭建备忘

已有hadoop yarn 和 spark 集群部署、运行在分布式环境中,程序开发编码在PC上,由于逐渐增多scala编写spark2.0程序,入乡随俗使用sbt和IntelliJ Idea,顺便对P...
  • bitbyteworld
  • bitbyteworld
  • 2016年10月10日 22:51
  • 7292

spark1.6.1及scala2.11.8安装配置

首先,安装spark之前需要安装配置的软件有:JDK,Scala,ssh,Hadoop这些开发平台的安装配置在我之前的博客中都有详细的攻略,需要的请去看看。 hadoop安装配置再此提一句,无论是h...
  • qq_28945021
  • qq_28945021
  • 2016年05月31日 21:05
  • 1027
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:最新版scala2.11.8与spark1.6.1一步到位安装
举报原因:
原因补充:

(最多只允许输入30个字)