spark搭建

Standalone 模式

1、进入 spark 安装目录下的 conf 文件夹

 cd spark/conf/ 

2、修改配置文件名称

 mv slaves.template slaves 
 mv spark-env.sh.template spark-env.sh 

3、修改 slave 文件，添加 work 节点：

vim slaves 

master
slave1
slave2 
 

4、修改 spark-env.sh 文件，添加如下配置：

 vim spark-env.sh 

SPARK_MASTER_HOST=master
SPARK_MASTER_PORT=7077 

5、修改sbin/spark-config.sh

export JAVA_HOME=/opt/jdk

6、分发 spark 包

scp -r spark/ hadoop@slave1:/opt/

scp -r spark/ hadoop@slave2:/opt/

7、启动

 sbin/start-all.sh

查看各个节点的进程
================ hadoop@master================  
 3330 Jps 
3238 Worker 
3163 Master  
================ hadoop@slave1================ 
2966 Jps 
2908 Worker 
================ hadoop@slave2================ 
2978 Worker 
3036 Jps

web端查看：master:8080

JobHistoryServer 配置

1、修改 spark-default.conf.template 名称为 spark-default.conf并修改文件内容

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://master:9000/directory 

注意文件directory目录，需提前在集群上创建好，否则启动时会报错。

2、修改 spark-env.sh 文件，添加如下配置

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://master:9000/directory" 

参数描述：
spark.eventLog.dir：Application 在运行过程中所有的信息均记录在该属性指定的路径下
spark.history.ui.port=18080 WEBUI 访问的端口号为 18080
spark.history.fs.logDirectory=hdfs://hadoop102:9000/directory 配置了该属性后，在 start-history-server.sh 时就无需再显式的指定路径，Spark History Server 页面只展示该指定路径
下的信息
spark.history.retainedApplications=30 指定保存 Application 历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用
数。
3、利用scp分发配置文件到slave1、slave2

4、启动历史服务

sbin/start-history-server.sh 

5、查看web端历史服务

maser:18080

HA 配置

1、zookeeper 正常安装并启动
https://blog.csdn.net/weixin_43671437/article/details/102736020

2、修改 spark-env.sh 文件添加如下配置：
注释掉如下内容(此内容是刚才配置Standalone 模式时添加的)：

#SPARK_MASTER_HOST=master 
#SPARK_MASTER_PORT=7077 

添加上如下内容：

export SPARK_DAEMON_JAVA_OPTS=" -Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master,slave1,slave2 -Dspark.deploy.zookeeper.dir=/spark"

3、分发配置文件

4、在 master 上启动全部节点

sbin/start-all.sh

5、在slave1 上单独启动 master 节点

sbin/start-master.sh

6、spark HA 集群访问

/opt/spark/bin/spark-shell --master spark://master:7077,slave1:7077 --executor-memory 2g --total-executor-cores 2