【Spark】【第三章】 Spark运行环境

Spark作为一个分布式数据处理框架和计算引擎，被设计在所有常见的集群环境中运行:

1. 本地模式

所谓的Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境

1.1 本地模式的安装配置

将spark-3.0.0-bin-hadoop3.2.tgz文件上传到Linux并解压缩，放置在指定位置，路径中不要包含中文或空格

tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module

cd /opt/module 
mv spark-3.0.0-bin-hadoop3.2 spark-local

这就安装好了，也不需要多余的配置；

---

1.2 本地模式的使用

1.2.1 启动Local环境

进入解压缩后的路径，执行如下指令就启动了Local环境

bin/spark-shell

1.2.2 Web UI监控页面访问

http://虚拟机地址:4040
该页面只有在Spark任务运行的过程中才能访问，任务执行完连接不上了

1.2.3 命令行工具

在解压缩文件夹下的data目录中，添加word.txt文件。在命令行工具中执行如下代码指令（和IDEA中代码简化版一致）

sc.textFile("data/word.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect

1.2.4 退出本地模式

按键Ctrl+C或输入Scala指令:quit

1.2.5 提交应用

实际开发中，都是在idea中开发，然后打成jar包，提交应用
提交一个已经写好的程序：

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \    
--master local[2] \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10


--class表示要执行程序的主类，此处可以更换为咱们自己写的应用程序
--master local[2] 部署模式，默认为本地模式，
  数字表示分配的虚拟CPU核数量【同时执行的Task个数】
  
spark-examples_2.12-3.0.0.jar 运行的应用类所在的jar包，实际使用时，可以设定为咱们自己打的jar包
数字10表示程序的入口参数，用于设定当前应用的任务数量

2. Standalone模式

2.1 standalone模式是什么？

• Spark自身就可以配置集群模式，不用依赖于外部的资源调度框架比如yarn，也就是我们所谓的独立部署（Standalone）模式
• Spark的Standalone模式也是经典的主从架构

2.2 standalone模式的配置

1.集群规划

2.解压缩文件
将spark-3.0.0-bin-hadoop3.2.tgz文件上传到Linux并解压缩在指定位置

tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module

cd /opt/module 
mv spark-3.0.0-bin-hadoop3.2 spark-standalone

3.修改配置文件

1.slavers配置

1.进入解压缩后路径的conf目录，修改slaves.template文件名为slaves
去掉后缀，才能生效

mv slaves.template slaves

2.修改slaves文件，添加work节点

hadoop102
hadoop103
hadoop104

2.master配置

1.修改spark-env.sh.template文件名为spark-env.sh 配置master

mv spark-env.sh.template spark-env.sh

2.修改spark-env.sh文件，添加JAVA_HOME环境变量和集群对应的master节点

export JAVA_HOME=/opt/module/jdk1.8.0_144
# master节点所在主机的ip
SPARK_MASTER_HOST= hadoop102
# master节点在集群内部通信端口
SPARK_MASTER_PORT= 7077

注意：7077端口，相当于hadoop3.x内部通信的8020端口

3.分发Spark主目录

分发spark-standalone目录，因为standalone是个集群模式

xsync spark-standalone

2.3 使用standalone集群

1.启动集群

#启动集群
sbin/start-all.sh 

该命令可以启动standalone集群中所有节点，可以看出先启动Master，然后启动三个Worker

查看三台服务器运行进程：

================linux1================
3330 Jps
3238 Worker
3163 Master
================linux2================
2966 Jps
2908 Worker
================linux3================
2978 Worker
3036 Jps

2.查看Master资源监控Web UI界面: http://hadoop102:8080

3.提交应用

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

1. –class表示要执行程序的主类
2. –master spark://linux1:7077 独立部署模式，连接到Spark集群
3. spark-examples_2.12-3.0.0.jar 运行类所在的jar包
4. 数字10表示程序的入口参数，用于设定当前应用的任务数量

执行任务时，会产生多个Java进程，这些进程用于启动Task线程

2.4 Standalone 模式运行机制

Standalone 集群有 2 个重要组成部分，分别是：

1. Master(RM)：是一个进程，主要负责资源的调度和分配，并进行集群的监控等职责；
2. Worker(NM)：是一个进程，一个 Worker 运行在集群中的一台服务器上，主要负责两个职责，一个是用自己的内存存储 RDD 的某个或某些 partition；另一个是启动其他进程和线程（Executor），对 RDD 上的 partition 进行并行的处理和计算。

2.4.1 Standalone Cluster 模式

2.4.2 Standalone Client 模式

3. yarn模式

• 独立部署（Standalone）模式由Spark自身提供计算资源，无需其他框架提供资源。这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。
• 但是Spark主要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项，所以还是和其他专业的资源调度框架集成会更靠谱一些。所以接下来我们来学习在强大的Yarn环境下Spark是如何工作的

3.1 yarn模式配置

1.解压缩文件
将spark-3.0.0-bin-hadoop3.2.tgz文件上传到linux并解压缩，放置在指定位置

tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module

cd /opt/module 
mv spark-3.0.0-bin-hadoop3.2 spark-yarn

2.修改配置文件

1. 修改hadoop的配置文件/opt/module/hadoop/etc/hadoop/yarn-site.xml, 并分发

<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
     <name>yarn.nodemanager.pmem-check-enabled</name> 
     <value>false</value>
</property>

<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
     <name>yarn.nodemanager.vmem-check-enabled</name>  //
     <value>false</value>
</property>

Yarn是个资源调度平台，resourcemanager给某个节点分配容器，该容器不能超过1个G的内存，如果想用超过1G的内存，那么就侵犯了别的容器的资源，就只能把他关掉

2. 修改conf/spark-env.sh，添加JAVA_HOME和YARN_CONF_DIR配置

mv spark-env.sh.template spark-env.sh

vim spark-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_212
YARN_CONF_DIR=/opt/module/hadoop/etc/hadoop
#Yarn的配置文件所在目录，让yarn能够找到yarn-site.xml文件

3.2 使用spark on yarn

1. 使用这个模式必须启动HDFS以及YARN集群

bin/start-dfs.sh
bin/start-yarn.sh

2. 提交应用

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \			    --运行环境为yarn
--deploy-mode cluster \    --集群部署模式
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

3.3 YARN Cluster 模式作业流程

1. 执行脚本提交任务，实际是启动一个 SparkSubmit 的 JVM 进程；
2. SparkSubmit 类中的 main 方法反射调用 YarnClusterApplication 的 main 方法；
3. YarnClusterApplication 创建 Yarn 客户端，然后向 Yarn 服务器发送执行指令：bin/java ApplicationMaster；
4. Yarn 框架收到指令后会在指定的 NM 中启动ApplicationMaster进程；
5. ApplicationMaster进程 中启动子线程Driver线程，执行用户的作业；
6. AM 向 RM 注册，申请资源；
7. 获取资源后 AM 向 NM 发送指令：bin/java YarnCoarseGrainedExecutorBackend启动Executor进程；
8. CoarseGrainedExecutorBackend进程会接收消息，跟 Driver 通信，注册已经启动的Executor；然后启动计算对象 Executor 等待接收任务
9. Driver 线程继续执行完成作业的调度和任务的执行。
10. Driver 分配任务并监控任务的执行。
    

3.4 YARN Client 模式作业流程

1. 执行脚本提交任务，实际是启动一个 SparkSubmit 的 JVM 进程；
2. SparkSubmit 类中的 main 方法反射调用用户代码的 main 方法；
3. 启动 Driver 线程，执行用户的作业，并创建 ScheduleBackend；
4. YarnClientSchedulerBackend 向 RM 发送指令：bin/java ExecutorLauncher；
5. Yarn 框架收到指令后会在指定的 NM 中启动 ExecutorLauncher（实际上还是调用ApplicationMaster 的 main 方法）；
6. AM 向 RM 注册，申请资源；
7. 获取资源后 AM 向 NM 发送指令：bin/java CoarseGrainedExecutorBackend；
8. CoarseGrainedExecutorBackend 进程会接收消息，跟 Driver 通信，注册已经启动的Executor；然后启动计算对象 Executor 等待接收任务
9. Driver 分配任务并监控任务的执行。

注意：SparkSubmit、ApplicationMaster 和 YarnCoarseGrainedExecutorBackend 是独立的进
程；Executor 和 Driver 是对象。

4.Spark提交任务参数说明

在提交应用中，一般会同时一些提交参数

bin/spark-submit \
--class <main-class>
--master <master-url> \
... # other options
<application-jar> \
[application-arguments]

--class
Spark程序中包含主函数的类
--master
Spark程序运行的模式(环境)

• local[*] 表示本地模式下运行
• spark://linux1:7077 表示standalone模式下运行
• Yarn 表示yarn环境运行

--executor-memory 1G
指定每个executor可用内存为1G
符合集群内存配置即可，具体情况具体分析
--total-executor-cores 2
指定所有executor使用的cpu核数为2个
--executor-cores
指定每个executor使用的cpu核数
application-jar

• 打包好的应用jar，包含依赖。
• 这个URL必须在集群中全局可见。
  比如hdfs:// 共享存储系统
  如果是file:// path，那么所有的节点的path都包含同样的jar

application-arguments
传给main()方法的参数