spark、scala安装配置

一、安装scala

1、下载scala .tar.gz文件
2、解压文件到指定文件夹
3、配置scala环境变量
在/etc/profile加入

SCALA_HOME=/spark/scala-2.11.4
export PATH=$SCALA_HOME/bin:$PATH
source /etc/profile

4、分发文件夹到其他主机，同理，配置相应该的环境变量

二、安装Spark

1、下载spark
2、解压到指定文件夹
3、进入conf目录
4、配置slaves文件加入slave地址
5、配置spark-env.sh

export JAVA_HOME=/usr/Java/jdk1.8.0_45
export SCALA_HOME=/spark/scala-2.11.4
export HADOOP_HOME=/spark/Hadoop-2.6.0
export SPARK_MASTER_IP=xxxx
export SPARK_MASTER_WEBUI_PORT=7077
export HADOOP_CONF_DIR=/spark/hadoop-2.6.0/etc/hadoop
export SPARK_WORKER_CORES=32
export SPARK_WORKER_MEMORY=28g

三、分发

分发spark到其他主机上、启动、查看进程、安装成功