Spark集群搭建
scala压缩包
链接:https://pan.baidu.com/s/1GbeF8ggBrv9ZdHWnHR6m9Q
提取码:w655
spark压缩包
链接:https://pan.baidu.com/s/1f-cFda5bqBGuoux_1TPCQA
提取码:j0v6
1. 解压:
[root@master /]# cd /soft
[root@master soft]# tar -xzvf scala-2.11.8.tgz
[root@master soft]# tar -xzvf spark-3.0.0-preview2-bin-hadoop2.7.tgz
2. 创建软链接
[root@master soft]# ln -s spark-3.0.0-preview2-bin-hadoop2.7 /soft/spark
[root@master soft]# ln -s scala-2.11.8 /soft/scala
3.配置spark
[root@master soft]# cd /soft/spark/conf/
[root@master conf]# mv spark-env.sh.template spark-env.sh
[root@master conf]# vi spark-env.sh
spark-env.sh 文件添加如下配置
export JAVA_HOME=/soft/jdk
export SCALA_HOME=/soft/scala
export SPARK_MASTER_IP=master
export SPARK_WORKER_MEMORY=2G
export HADOOP_CONF_DIR=/soft/hadoop/etc/hadoop
[root@master conf]# mv slaves.template slaves
[root@master conf]# vi slaves
slaves文件删除localhost,添加如下配置
master
slave1
slave2
4. 配置环境变量
[root@master soft]# vi /etc/profile
添加如下配置:
export SPARK_HOME=/soft/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
export SCALA_HOME=/soft/spark
export PATH=$PATH:$SCALA_HOME/bin
[root@master soft]# source /etc/profile #生效
5. 分发scala、spark到其他集群
[root@master conf]# scp -r /soft/spark/ root@slave1:/soft/
[root@master conf]# scp -r /soft/spark/ root@slave2:/soft/
[root@master conf]# scp -r /soft/scala/ root@slave1:/soft/
[root@master conf]# scp -r /soft/scala/ root@slave2:/soft/
6. 配置其他集群环境变量
同步骤4
7. 启动
[root@master ~]# start-all.sh #启动Hadoop
[root@master ~]# start-master.sh #启动spark master
[root@master ~]# start-slaves.sh #启动spark slaves
[root@master ~]# jps
8. 启动spark-shell
[root@master ~]# spark-shell
9. 网页验证http://192.168.110.11:8080/