Spark Standalone环境搭建

最新推荐文章于 2023-04-19 09:31:25 发布

lavineeeen

最新推荐文章于 2023-04-19 09:31:25 发布

阅读量566

点赞数

分类专栏： Spark 文章标签： spark big data hadoop

本文链接：https://blog.csdn.net/weixin_44936816/article/details/125238704

版权

Spark 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

文章目录

Spark Standalone 环境搭建

Spark Standalone 环境搭建

1. Standalone架构

Standalone模式是Spark自带的一种集群模式，不同于前面本地模式启动多个进程来模拟集群的环境，Standalone模式是真实地在多个机器之间搭建Spark集群的环境，完全可以利用该模式搭建多机器集群，用于实际的大数据处理。

Standalone是完整的Spark运行环境，其中：

Master角色以Master进程存在，Worker角色以Worker进程存在；

Driver和Executor运行于Worker进程内，由Worker提供资源供给它们运行。
在这里插入图片描述

Standalone集群在进程上主要有3类进程：

主节点Master进程：

Master角色，管理整个集群资源，并托管运行各个任务的Driver
从节点Workers：

Worker角色，管理每个机器的资源，分配对应的资源来运行Executor(Task)；每个从节点分配资源信息给Worker管理，资源信息包含内存Memory和CPU Cores核数
历史服务器HistoryServer（可选）:

SparkApplication运行完成以后，保存事件日志数据至HDFS，启动HistoryServer可以查看运行相关信息。

2. Spark StandAlone环境部署

一、历史服务器

历史服务器不是Spark环境的必要组件，是可选的。

在YARN中有一个历史服务器，功能是将YARN运行的程序的历史日志记录下来，通过历史服务器方便用户查看程序运行的历史信息。

Spark的历史服务器功能：将Spark运行的程序的历史日志记录下来，通过历史服务器方便用户查看程序运行的历史信息。

搭建集群环境，一般推荐将历史服务器也配置上，方便以后查看历史记录。

二、集群规划

使用三台Linux虚拟机组成集群环境，分别是：

hadoop102/hadoop103/hadoop104

hadoop102运行：Spark的Master进程和 1个Worker进程

hadoop103运行：spark的1个worker进程

hadoop104运行：spark的1个worker进程

整个集群提供: 1个master进程和 3个worker进程

三、安装

在所有机器安装Python（Anaconda），并配置相关环境变量。——可参考 Spark Local环境部署

四、配置配置文件

进入到spark的配置文件目录中, cd $SPARK_HOME/conf

配置workers文件

# 改名, 去掉后面的.template后缀
mv workers.template workers

# 编辑worker文件
vim workers
# 将里面的localhost删除, 追加
hadoop102
hadoop103
hadoop104
到workers文件内

# 功能: 这个文件就是指示了  当前SparkStandAlone环境下, 有哪些worker

在这里插入图片描述

配置spark-env.sh文件

# 1. 改名
mv spark-env.sh.template spark-env.sh

# 2. 编辑spark-env.sh, 在底部追加如下内容

## 设置JAVA安装目录
JAVA_HOME=/opt/module/jdk1.8.0_212

## HADOOP软件配置文件目录，读取HDFS上文件和运行YARN集群
HADOOP_CONF_DIR=/opt/ha/hadoop-3.1.3/etc/hadoop
YARN_CONF_DIR=/opt/ha/hadoop-3.1.3/etc/hadoop

## 指定spark老大Master的IP和提交任务的通信端口
# 告知Spark的master运行在哪个机器上
export SPARK_MASTER_HOST=hadoop102
# 告知sparkmaster的通讯端口
export SPARK_MASTER_PORT=7077
# 告知spark master的 webui端口
SPARK_MASTER_WEBUI_PORT=8080

# worker cpu可用核数
SPARK_WORKER_CORES=1
# worker可用内存
SPARK_WORKER_MEMORY=1g
# worker的工作通讯地址
SPARK_WORKER_PORT=7078
# worker的 webui地址
SPARK_WORKER_WEBUI_PORT=8081

## 设置历史服务器
# 配置的意思是  将spark程序运行的历史日志 存到hdfs的/sparklog文件夹中
SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/sparklog/ -Dspark.history.fs.cleaner.enabled=true"

上面的配置的路径，要根据机器实际的路径来写。

在HDFS上创建程序运行历史记录存放的文件夹：

hadoop fs -mkdir /sparklog
hadoop fs -chmod 777 /sparklog

配置spark-defaults.conf文件

# 1. 改名
mv spark-defaults.conf.template spark-defaults.conf

# 2. 修改内容, 追加如下内容
# 开启spark的日期记录功能
spark.eventLog.enabled  true
# # 设置spark日志记录的路径
spark.eventLog.dir       hdfs://hadoop102:8020/sparklog/
# spark.yarn.historyServer.address=hadoop104:18080
# # 设置spark日志是否启动压缩
spark.eventLog.compress         true

配置log4j.properties 文件 [可选配置]

# 1. 改名
mv log4j.properties.template log4j.properties
# 2. 修改内容 参考下图

在这里插入图片描述

五、将Spark安装文件夹分发到其它的服务器上

scp -r spark-3.1.2-bin-hadoop3.2 hadoop103:/opt/server/
scp -r spark-3.1.2-bin-hadoop3.2 hadoop104:/opt/server/

同时在hadoop103和hadoop104上给spark安装目录增加软链接

ln -s /opt/server/spark-3.1.2-bin-hadoop3.2 /opt/server/spark

六、检查

检查每台服务器的JAVA_HOME、SPARK_HOME、PYSPARK_PYTHON等等环境变量是否正常指向正确的目录。

七、启动历史服务器

sbin/start-history-server.sh

八、启动Spark的Master和Worker进程

# 启动全部master和worker
sbin/start-all.sh

# 或者可以一个个启动:
# 启动当前机器的master
sbin/start-master.sh
# 启动当前机器的worker
sbin/start-worker.sh

# 停止全部
sbin/stop-all.sh

# 停止当前机器的master
sbin/stop-master.sh

# 停止当前机器的worker
sbin/stop-worker.sh

九、查看Master的WEB UI

默认端口master是设置的8080，如果端口被占用, 会顺延到8081 …;8082… 8083… 直到申请到端口为止。

在这里插入图片描述

十、连接到StandAlone集群

bin/pyspark

bin/pyspark --master spark://hadoop102:7077
# 通过--master选项来连接到 StandAlone集群
# 如果不写--master选项, 默认是local模式运行

bin/spark-shell

bin/spark-shell --master spark://hadoop102:7077
# 同样适用--master来连接到集群使用

bin/spark-submit (PI)

bin/spark-submit --master spark://hadoop102:7077 /opt/server/spark/examples/src/main/python/pi.py 100
# 同样使用--master来指定将任务提交到集群运行

十一、查看历史服务器WEB UI

历史服务器的默认端口是: 18080

启动在hadoop102上, 可以在浏览器打开:

hadoop102:18080来进入到历史服务器的WEB UI上.
在这里插入图片描述

3. 各端口比较

4040：是一个运行的Application在运行的过程中临时绑定的端口，用以查看当前任务的状态，4040被占用会顺延到4041,4042等。

8080：默认是StandAlone下，Master角色（进程）的WEB端口，用以查看当前Master（集群）的状态。

18080：默认是历史服务器的端口，由于每个程序运行完成后，4040端口就被注销了，在以后想回看某个程序的运行状态就可以通过历史服务器查看，历史服务器长期稳定运行，可供随时查看被记录的程序的运行过程。

4. Spark程序运行层次结构

Spark Application程序运行时三个核心概念：Job、Stage、Task，说明如下：

Job：有多个Task的并行计算部分，一般Spark中的action操作，会生成一个Job。
Stage：Job的组成单位，一个Job会切分成多个Stage，Stage彼此之间相互依赖顺序执行，而每个Stage是多个Task的集合，类似map和reduce stage。
Task：被分配到各个Executor的单位工作内容，它是Spark中的最小执行单位，一般来说有多少个Partition就会有多少个Task，每个Task只会处理单一分支上的数据。