Spark安装及配置详细步骤

1、解压scala、spark：

tar -zxvf scala-2.11.8.tgz
tar -zxvf spark-2.4.4-bin-hadoop2.6.tgz

2、配置环境变量(master、slave1、slave2分别执行)：

export SCALA_HOME=/usr/local/src/scala-2.11.8
export SPARK_HOME=/usr/local/src/spark-2.4.4-bin-hadoop2.6
export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin

重新加载环境变量：

source ~/.bashrc

3、修改spark配置文件(spark-env.sh、slaves)：
进到spark目录：

cd spark-2.4.4-bin-hadoop2.6/

进入conf目录下：

cd conf/

将spark-env.sh.template、slaves.template分别替换为spark-env.sh、slaves：

mv spark-env.sh.template spark-env.sh
mv slaves.template slaves

配置slaves：


配置spark-env.sh：

因为之前搭建hadoop过程中hosts中有域名转换，直接填master：

4、scala\spark拷贝到slave1、slave2节点：

scp -rp spark-2.4.4-bin-hadoop2.6/ root@slave1:/usr/local/src/
scp -rp spark-2.4.4-bin-hadoop2.6/ root@slave2:/usr/local/src/

scp -rp scala-2.11.8/ root@slave2:/usr/local/src/
scp -rp scala-2.11.8/ root@slave2:/usr/local/src/

5、启动spark：
需先启动hadoop：

再启动spark：

master上查看服务进程：

从节点查看服务进程：

浏览器访问：

6、验证
(1)本地模式：
bin目录下执行：

./run-example SparkPi 10 --master local[2]

(2)集群Standlone

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 examples/jars/spark-examples_2.11-2.4.4.jar 100

(3) spark on yarn

spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster examples/jars/spark-examples_2.11-2.4.4.jar 100