Spark_2.0.0安装配置文档

Spark安装指南

       该文档是建立在已经安装好hadoop和jdk的基础上，并且已经设置好HADOOP_HOME环境变量以及JAVA_HOME环境变量，测试和现网环境需要在原来的hadoop环境中安装。

1      下载安装包

从http://www.scala-lang.org/files/archive/scala-2.11.8.tgz 获取scala安装包，

从http://d3kbcqa49mib13.cloudfront.net/spark-2.0.0-bin-hadoop2.7.tgz获取spark安装包。或者从安装包目录中获取。

2      上传安装包

上传scala-2.11.8.tgz、spark-2.0.0-bin-hadoop2.7.tgz两个安装包到集群各个节点机器上。

3      安装Scala

解压安装包：tar -zxvf scala-2.11.8.tgz，可以解压到/usr/lib目录下，配置环境变量/etc/profile，

添加如下两行：

export SCALA_HOME=/home/imax/scala-2.11.8

exportPATH=$PATH:$SCALA_HOME/bin

测试输入scala命令，返回如下界面，安装成功

4      配置Spark

1、解压添加环境变量

     解压安装包：tar -zxvf  spark-2.0.0-bin-hadoop2.7.tgz，可以解压到/home/imax下（可根据具体环境修改），配置环境变量/etc/profile，添加如下两行内容。

export S