Linux下基于hadoop安装Spark

环境

hadoop2.4.1

scala2.11.8

安装

1.下载spark。

2.解压到指定目录，如/usr/local。

tar -zxvf spark-2.1.0-bin-hadoop2.4.tgz

3.修改spark目录名，也可不修改。

mv spark-2.1.0-bin-hadoop2.4 spark

配置

1.环境变量

/etc/profile

SPARK_HOME=/usr/local/scala
PATH=$PATH:$SPARK_HOME/bin
export SPARK_HOME

生效配置。

source /etc/profile

2.spark配置

在conf目录下复制一份spark-env.sh.template命名为spark-env.sh。

cp spark-env.sh.template spark-env.sh

修改配置文件，按实际情况添加如下配置。

export SCALA_HOME=/usr/local/scala
export JAVA_HOME=/usr/java/jdk1.8.0_191
export HADOOP_HOME=/usr/local/hadoop    
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop  
export SPARK_HOME=/usr/local/spark
export SPARK_MASTER_IP=master    
export SPARK_EXECUTOR_MEMORY=256m

运行

运行spark的sbin目录下的start-all.sh。启动后访问8080端口查看是否启动成功。