spark之独立部署(StandAlone)搭建

1.安装

先到官网下载spark：https://mirrors.bfsu.edu.cn/apache/
解压
tar -zxvf spark-3.0.0-bin-hadoop2.7.tgz -C /opt/software

2.配置

2.1 conf文件的slaves

cd spark/conf
cp slaves.template slaves
vi slaves
#添加自己的slaves
slave1
slave2
slave3

2.2 conf的spark-env.sh

cd spark/conf
cp spark-env.sh.template  spark-env.sh
vi spark-env.sh
#添加以下内容
export JAVA_HOME=/opt/links/jdk
SPARK_MASTER_HOST=hlm01#主节点ip
SPARK_MASTER_PORT=7077

export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://hlm01:9000/spark/test
-Dspark.history.retainedApplications=30
"

hadoop集群上新建一个文件

hdfs dfs -mkdir -p /spark/test

2.3 conf的spark-defaults.conf

cd spark/conf
cp spark-defaults.conf.template spark-defaults.conf
vi spark-defaults.conf
#添加以下内容
spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://hlm01:9000/spark/test

2.4 sbin的spark-config.sh

cd spark/sbin
vi spark-config.sh
#在最后一行加上JAVA_HOME
export JAVA_HOME=/opt/software/jdk

2.5 添加SPARK_HOME和PATH

3.启动/停止

3.1 启动

在主节点上

cd spark/
sbin/start-all.sh
sbin/start-history-server.sh

3.2 停止

在主节点上

cd spark/
sbin/stop-all.sh

4.访问

http://master:7077
http://master:18080