环境
hadoop2.4.1
scala2.11.8
安装
1.下载spark。
2.解压到指定目录,如/usr/local。
tar -zxvf spark-2.1.0-bin-hadoop2.4.tgz
3.修改spark目录名,也可不修改。
mv spark-2.1.0-bin-hadoop2.4 spark
配置
1.环境变量
/etc/profile
SPARK_HOME=/usr/local/scala
PATH=$PATH:$SPARK_HOME/bin
export SPARK_HOME
生效配置。
source /etc/profile
2.spark配置
在conf目录下复制一份spark-env.sh.template命名为spark-env.sh。
cp spark-env.sh.template spark-env.sh
修改配置文件,按实际情况添加如下配置。
export SCALA_HOME=/usr/local/scala
export JAVA_HOME=/usr/java/jdk1.8.0_191
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_HOME=/usr/local/spark
export SPARK_MASTER_IP=master
export SPARK_EXECUTOR_MEMORY=256m
运行
运行spark的sbin目录下的start-all.sh。启动后访问8080端口查看是否启动成功。