spark 安装依赖及部署

QQ交流群：335671559,欢迎交流

一、安装spark依赖的内容

1.JDK

    spark是由Scala语言编写的，但是运行的环境是jvm，所以需要安装JDK

    编译过程：Python、java、Scala编写的代码 -> scala编译器编译解释，生成class文件 -> 由jvm负责执行class文件（与java代码执行一致）

2.scala

    由于   spark是由Scala语言编写的，所以依赖Scala环境，且由Scala编写的执行代码也需要环境进行编译

3.配置SSH免密码登录

    集群节点无密码访问，与安装Hadoop时一致

4.安装Hadoop

    hdfs是作为spark的持久层，所以需要安装Hadoop，同时如果需要配置spark on yarn，则Hadoop需要安装yarn版本的

5.安装spark

    安装spark，执行spark代码

二、JDK安装

1.下载地址

    用户可以在官网下载相应版本的JDK，本例使用JDK1.6,下载地址为：  http://www.oracle.com/technetwork/java/javase/archive-139210.html

    development kit的bin包

2.下载后，在相应的目录下执行bin文件(假设JDK目录是 jdkpath)

    ./ jdk-6u45-linux-i586.bin

3.配置环境变量，修改/etc/profile文件增加以下内容

   export  JAVA_HOME= $jdkpath

    export    PATH=$JAVA_HOME/bin:$PATH

    export   CLASSPATH=.:$ JAVA_HOME/jre/lib/rt.jar:$ JAVA_HOME/jre/lib/dt.jar:$ JAVA_HOME/jre/lib/tools.jar

4.生效profile(或者重启机器)

    source /etc/profile

5.终端输入 java -version

    输出类似如下说明安装成功

    

三、安装Scala

1.下载地址

    官网下载地址： http://www.scala-lang.org/download/all.html

    本例使 用的是 Scala 2.9.3

2.在安装目录下解压（假设Scala目录是scalapath）

    tar -zxv f  scala-2.9.3.tgz

3.配置环境变量， 修改/etc/profile文件增加以下内容

    export  SCALA_HOME= $ scalapath

   export   PATH=$SCALA_HOME/bin:$PATH

4.生效profile(或者重启机器)

    source /etc/profile

四、配置SSH免密码登陆

首先，需要配置各个机器间的相互访问：

1、 配置ssh的自动登陆(在master机上