Spark Standalone模式环境搭建

LiyC;

已于 2023-12-19 13:49:04 修改

阅读量105

点赞数

分类专栏：大数据文章标签： spark 大数据分布式

于 2023-12-16 15:51:24 首次发布

本文链接：https://blog.csdn.net/qq_65960840/article/details/135017890

版权

大数据专栏收录该内容

11 篇文章 0 订阅

订阅专栏

介绍

Spark Standalone模式是Spark的一种部署模式，在Spark Standalone模式下，用户可以通过启动一个或多个Spark主节点（Master）和多个Spark工作节点（Worker）来创建一个Spark集群。Spark主节点负责资源的分配和任务调度，而Spark工作节点负责执行具体的任务。

用户可以通过配置文件或命令行参数来设置Spark Standalone集群的属性，如主节点地址、端口号、工作节点数量、内存分配等。一旦集群启动，用户可以使用Spark提供的API或命令行工具来提交和管理Spark应用程序。

Spark Standalone模式的优点包括简单易用、轻量级、高性能和灵活性。它适用于小型到中型规模的集群，并且可以与其他资源管理器集成，如Hadoop YARN或Mesos，以扩展集群规模和资源利用率。

安装

1.前置条件

1.配置三台机器之间的免密登录

2.Spark Local模式环境搭建

3.Hadoop集群搭建

4.确保主机master安装了jdk，hadoo，spark。另外两台可以不装，因为之后的操作会把主机的这些环境发送给另外两台。

2.修改主机Spark配置文件

1.在master中进入spark安装文件解压缩后路径的conf目录，修改 slaves.template 文件名为 slaves.

root@master:~/env/environment/spark23/conf# mv slaves.template slaves

2.修改slaves文件，在文件末加入节点

3.修改spark-env.sh文件，如果没有先将spark-env.sh.template修改为spark-env.sh

root@master:~/env/environment/spark23/conf# vi spark-env.sh

#在文件末端加入


#设置JAVA安装目录                                             
export JAVA_HOME=/root/env/environment/jdk8
                         
#设置HADOOP和YARN配置目录，用于读取HDFS及运行YARN集群
HADOOP_CONF_DIR=/root/env/environment/hadoop/etc/hadoop
YARN_CONF_DIR=/root/env/environment/hadoop/etc/hadoop
  
#SPARK master及slave相关设置                                 
export SPARK_MASTER_HOST=master                          
export SPARK_MASTER_PORT=7077                                                     
SPARK_MASTER_WEBUI_PORT=8080

3.分发目录和环境

#分发目录
root@master:~# scp /etc/profile worker1:/etc/profile
profile                                                                    100% 1044   830.1KB/s   00:00    
root@master:~# scp /etc/profile worker2:/etc/profile
profile                                                                    100% 1044   937.6KB/s   00:00    


#分发环境，地址为自己环境所在的地址，我是把jdk，hadoop还有spark都放在了/root/env/environment里面
#将master的/root/env/environment文件夹发送到目标节点的/root/env文件夹里
root@master:~# scp -r /root/env/environment worker1:/root/env
root@master:~# scp -r /root/env/environment worker2:/root/env


#在两个子节点上生效环境
root@worker1:~# source /etc/profile
root@worker2:~# source /etc/profile

4.配置历史服务（选做）

由于 spark-shell 停止掉后，集群监控 spark1:4040 页面就看不到历史任务的运行情况，所以,在开发时，可以通过配置历史服务器记录任务运行情况。

1.启动hadoop集群，HDFS 上的 directory 目录需要提前存在

root@master:~/env/environment/hadoop# sbin/start-all.sh

#创建directory文件夹
root@master:~/env/environment/hadoop# hadoop fs -mkdir /directory

2.修改 /spark/conf目录下的spark-defaults.conf.template 文件名为 spark-defaults.conf

root@master:~/env/environment/spark23/conf# mv spark-defaults.conf.template spark-defaults.conf

3.修改 spark-defaults.conf文件，配置日志存储路径

root@master:~/env/environment/spark23/conf# vi spark-defaults.conf

修改为下图所示

4.修改spark-env.sh文件, 添加日志配置

root@master:~/env/environment/spark23/conf# vi spark-env.sh

#在文件末端加上
export SPARK_HISTORY_OPTS="                     
-Dspark.history.ui.port=18080                          
-Dspark.history.fs.logDirectory=hdfs://master:9000/directory
-Dspark.history.retainedApplications=30"    

#参数 1 含义：WEB UI 访问的端口号为 18080
#参数 2 含义：指定历史服务器日志存储路径
#参数 3 含义：指定保存 Application 历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

5. 分发配置文件，将配置好的文件夹同步到其它两台机器

root@master:~# scp -r /root/env/environment/spark23/conf worker1:/root/env/environment/spark23
root@master:~# scp -r /root/env/environment/spark23/conf worker2:/root/env/environment/spark23

6.重新启动spark集群和历史服务

#启动spark服务
root@master:~/env/environment/spark23# sbin/start-all.sh 

#启动历史服务
root@master:~/env/environment/spark23# sbin/start-history-server.sh

测试

1.启动集群

#先启动Hadoop集群
root@master:~# start-all.sh 

#进入到Spark目录下，启动spark集群
root@master:~/env/environment/spark23# sbin/start-all.sh

2. 通过JPS查看每台机器的启动情况

3.查看 Master 资源监控 Web UI 界面

访问http://master:8080

4.测试用例

root@master:~/env/environment/spark23# bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 \./examples/jars/spark-examples_2.11-2.3.2.jar 10

#(1) --class 表示要执行程序的主类。
#(2) --master spark://master:7077 独立部署模式，连接到 Spark 集群。
#(3) ./examples/jars/spark-examples_2.12-3.0.0.jar 运行类所在的 jar 包。
#(4) 数字 10 表示程序的入口参数，用于设定当前应用的任务数量执行任务时，产生多个（此处为10个）Java进程（10次迭代）。

5.查看历史服务

报错

启动历史服务时报错failed to launch: nice -n 0 /root/env/environment/spark23/bin/spark-class org.apache.spark.deploy.history.HistoryServer
解决办法：尝试更换文件端口号，如8020改成9000。