文章预览：
部署Spark集群大体上分为两种模式：单机模式与集群模式
大多数分布式框架都支持单机模式，方便开发者调试框架的运行环境。但是在生产环境中，并不会使用单机模式。因此，后续直接按照集群模式部署Spark集群。
下面详细列举了Spark目前支持的部署模式。
（1）Local模式：在本地部署单个Spark服务
（2）Standalone模式：Spark自带的任务调度模式。（国内常用）
（3）YARN模式：Spark使用Hadoop的YARN组件进行资源与任务调度。（国内常用）
（4）Mesos模式：Spark使用Mesos平台进行资源与任务的调度
Spark安装地址
1）官网地址：http://spark.apache.org/
2）文档查看地址：https://spark.apache.org/docs/3.0.0/
3）下载地址：https://spark.apache.org/downloads.html
https://archive.apache.org/dist/spark/
Local模式
Local模式就是运行在一台计算机上的模式，通常就是用于在本机上练手和测试。
安装使用
1）上传并解压Spark安装包
[linux@node1 software]$ tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module/
[linux@node1 module]$ mv spark-3.0.0-bin-hadoop3.2/ spark-local
2）官方求PI案例
[linux@node1 spark-local]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
–class：表示要执行程序的主类；
–master local[2]
（1）local: 没有指定线程数，则所有计算都运行在一个线程当中，没有任何并行计算
（2）local[K]:指定使用K个Core来运行计算，比如local[2]就是运行2个Core来执行
（3）local[*]：默认模式。自动帮你按照CPU最多核来设置线程数。比如CPU有8核，Spark帮你自动设置8个线程计算
spark-examples_2.12-3.0.0.jar：要运行的程序
10：要运行程序的输入参数（计算圆周率π的次数，计算次数越多，准确率越高）
可以查看spark-submit所有参数：
[linux@node1 spark-local]$ bin/spark-submit
3）结果展示
该算法是利用蒙特•卡罗算法求PI
官方WordCount案例
1）需求：读取多个输入文件，统计每个单词出现的总次数。
2）代码实现：
（1）准备文件
[linux@node1 spark-local]$ mkdir input
[linux@node1 input]$ vim yes.txt
hello world
hello yes
yes shier
shier tongxue
shier tongxue
（2）启动spark-shell
[linux@node1 spark-local]$ bin/spark-shell
21/07/19 09:47:38 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://node1:4040
Spark context available as 'sc' (master = local[*], app id = local-1626659266303).
Spark session available as 'spark'.
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 3.0.0
/_/
Using Scala version 2.12.10 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_212)
Type in expressions to have them evaluated.
Type :help for more information.
scala>
注意：sc是SparkCore程序的入口；spark是SparkSQL程序入口；master = local[*]表示本地模式运行，http://node1:4040表示Spark当前执行的任务页面查看端口
（3）再开启一个node1远程连接窗口，发现了一个SparkSubmit进程
[linux@node1 ~]$ jps
3393 Jps
3166 SparkSubmit
运行任务方式说明：spark-submit，是将jar上传到集群，执行Spark任务；spark-shell，相当于命令行工具，本身也是一个Application。
（4）登录node1:4040，查看程序运行情况（注意：spark-shell窗口关闭掉，则node1:4040页面关闭）
说明：本地模式下，默认的调度器为FIFO。
（5）运行WordCount程序
scala>sc.textFile("/opt/module/spark-local/input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
res0: Array[(String, Int)] = Array((yes,2), (shier,3), (hello,2), (tongxue,2), (world,1))
注意：只有collect开始执行时，才会加载数据。
可登录node1:4040查看程序运行结果
集群角色
1.Master和Worker集群资源管理
Master和Worker是Spark的守护进程、集群资源管理者，即Spark在特定模式下正常运行所必须的进程。
2.Driver和Executor任务的管理者
Driver和Executor是临时程序，当有具体任务提交到Spark集群才会开启的程序。
Standalone模式
Standalone模式是Spark自带的资源调动引擎，构建一个由Master + Slave构成的Spark集群，Spark运行在集群中。
这个要和Hadoop中的Standalone区别开来。这里的Standalone是指只用Spark来搭建一个集群，不需要借助Hadoop的Yarn和Mesos等其他框架。
3.1 安装使用
1）集群规划
| node1 | node2 | node3 |
|---|---|---|
| Master Worker | Worker | Worker |
2）再解压一份Spark安装包，并修改解压后的文件夹名称为spark-standalone
[linux@node1 software]$ tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module/
[linux@node1 module]$ mv spark-3.0.0-bin-hadoop3.2/ spark-standalone
3）进入Spark的配置目录/opt/module/spark-standalone/conf
[linux@node1 spark-standalone]$ cd conf
4）修改slave文件，添加work节点：
[linux@node1 conf]$ mv slaves.template slaves
[linux@node1 conf]$ vim slaves
node1
node2
node3
5）修改spark-env.sh文件，添加master节点
[linux@node1 conf]$ mv spark-env.sh.template spark-env.sh
[linux@node1 conf]$ vim spark-env.sh
SPARK_MASTER_HOST=node1
SPARK_MASTER_PORT=7077
6）分发spark-standalone包
[linux@node1 module]$ xsync spark-standalone/
7）启动spark集群
[linux@node1 module]$ cd spark-standalone/
查看三台服务器运行进程
[linux@node1 spark-standalone]$ xcall jps
==============node1==============
5385 Worker
5501 Jps
5310 Master
==============node2==============
5011 Worker
5128 Jps
==============node3==============
5010 Worker
5127 Jps
注意：如果遇到 “JAVA_HOME not set” 异常，可以在sbin目录下的spark-config.sh 文件中加入如下配置：
export JAVA_HOME=XXXX
8）网页查看：node1:8080（master web的端口，相当于hadoop的8088端口）
目前还看不到任何任务的执行信息。
9）官方求PI案例
[linux@node1 spark-standalone]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://node1:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
参数：–master spark://node1:7077指定要连接的集群的master
10）页面查看http://node1:8080/，发现执行本次任务，默认采用三台服务器节点的总核数3核，每个节点内存1024M。
8080：master的webUI
4040：application的webUI的端口号
3.2参数说明
1）配置Executor可用内存为2G，使用CPU核数为2个
[linux@node1 spark-standalone]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://node1:7077 \
--executor-memory 2G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
2）页面查看http://node1:8080/
3）基本语法
bin/spark-submit \
--class <main-class>
--master <master-url> \
... # other options
<application-jar> \
[application-arguments]
4）参数说明
| 参数 | 解释 | 可选值举例 |
|---|---|---|
| –class | Spark程序中包含主函数的类 | |
| –master | Spark程序运行的模式 | 本地模式：local[*]、spark://node1:7077、Yarn |
| –executor-memory 1G | 指定每个executor可用内存为1G | 符合集群内存配置即可，具体情况具体分析。 |
| –total-executor-cores 2 | 指定所有executor使用的cpu核数为2个 | |
| application-jar | 打包好的应用jar，包含依赖。这个URL在集群中全局可见。 比如hdfs:// 共享存储系统，如果是file:// path，那么所有的节点的path都包含同样的jar | |
| application-arguments | 传给main()方法的参数 |
3.3配置历史服务器
由于spark-shell停止掉后，node1:4040页面就看不到历史任务的运行情况，所以开发时都配置历史服务器记录任务运行情况。
1）修改spark-default.conf.template名称
[linux@node1 conf]$ mv spark-defaults.conf.template spark-defaults.conf
2）修改spark-default.conf文件，配置日志存储路径（写），并分发
[linux@node1 conf]$ vim spark-defaults.conf
spark.eventLog.enabled true
spark.eventLog.dir hdfs://node1:9820/directory
[linux@node1 conf]$ xsync spark-defaults.conf
注意：需要启动Hadoop集群，HDFS上的目录需要提前存在。
[linux@node1 hadoop-3.1.3]$ sbin/start-dfs.sh
[linux@node1 hadoop-3.1.3]$ hadoop fs -mkdir /directory
3）修改spark-env.sh文件，添加如下配置：
[linux@node1 conf]$ vim spark-env.sh
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://node1:9820/directory
-Dspark.history.retainedApplications=30"
#参数1含义：WEBUI访问的端口号为18080
#参数2含义：指定历史服务器日志存储路径（读）
#参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。
4）分发配置文件
[linux@node1 conf]$ xsync spark-env.sh
5）启动历史服务
[linux@node1 spark-standalone]$ sbin/start-history-server.sh
6）再次执行任务
[linux@node1 spark-standalone]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://node1:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
7）查看Spark历史服务地址：node1:18080
3.4配置高可用（HA）
1）高可用原理
2）配置高可用
（0）停止集群
[linux@node1 spark-standalone]$ sbin/stop-all.sh
（1）Zookeeper正常安装并启动
[linux@node1 spark-standalone]$ zookeeper.sh start
（2）修改spark-env.sh文件添加如下配置：
[linux@node1 conf]$ vi spark-env.sh
#注释掉如下内容：
#SPARK_MASTER_HOST=hadoop102
#SPARK_MASTER_PORT=7077
#添加上如下内容。配置由Zookeeper管理Master，在Zookeeper节点中自动创建/spark目录，用于管理：
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER
-Dspark.deploy.zookeeper.url=node1,ndoe2,node2
-Dspark.deploy.zookeeper.dir=/spark"
#添加如下代码
#Zookeeper3.5的AdminServer默认端口是8080，和Spark的WebUI冲突
export SPARK_MASTER_WEBUI_PORT=8989
（3）分发配置文件
[linux@node1 conf]$ xsync spark-env.sh
（4）在node1上启动全部节点
[linux@node1 spark-standalone]$ sbin/start-all.sh
（5）在node2上单独启动master节点
[linux@node2 spark-standalone]$ sbin/start-master.sh
（6）在启动一个node1窗口，将/opt/module/spark-local/input数据上传到hadoop集群的/input目录
[linux@node1 spark-standalone]$ hadoop fs -put /opt/module/spark-local/input/ /input
（7）Spark HA集群访问
[linux@node1 spark-standalone]$ bin/spark-shell \
--master spark://node1:7077,node2:7077 \
--executor-memory 2g \
--total-executor-cores 2
参数：–master spark://node1:7077,node2:7077指定要连接的集群的master
（8）执行WordCount程序
scala> sc.textFile("hdfs://node1:9820/input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
res0: Array[(String, Int)] = Array((hello,2), (tongxue,2), (world,1), (yes,2), (shier,3))
3）高可用测试
（1）查看node1的master进程
[linux@node1 software]$ jps
8996 QuorumPeerMain
9460 SparkSubmit
7479 NameNode
9287 Worker
7610 DataNode
9195 Master
9531 CoarseGrainedExecutorBackend
9661 Jps
（2）Kill掉hadoop102的master进程，页面中观察http://node2:8989/的状态是否切换为active。
[linux@node1 software]$ kill -9 9195
（3）再启动hadoop102的master进程
[linux@node1 spark-standalone]$ sbin/start-master.sh
3.5运行流程
Spark有standalone-client和standalone-cluster两种模式，主要区别在于：Driver程序的运行节点。
1）客户端模式
[linux@node1 spark-standalone]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://node1:7077,node2:7077 \
--executor-memory 2G \
--total-executor-cores 2 \
--deploy-mode client \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
–deploy-mode client，表示Driver程序运行在本地客户端
2）集群模式模式
[linux@node1 spark-standalone]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077,hadoop103:7077 \
--executor-memory 2G \
--total-executor-cores 2 \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
–deploy-mode cluster，表示Driver程序运行在集群
（1）查看http://node1:8989/页面，点击Completed Drivers里面的Worker
（2）跳转到Spark Worker页面，点击Finished Drivers中Logs下面的stdout
（3）最终打印结果如下
注意：在测试Standalone模式，cluster运行流程的时候，阿里云用户访问不到Worker，因为Worker是从Master内部跳转的，这是正常的，实际工作中我们不可能通过客户端访问的，这些端口对外都会禁用，需要的时候会通过授权到Master访问Worker
Yarn模式
Spark客户端直接连接Yarn，不需要额外构建Spark集群。
4.1安装使用
0）停止Standalone模式下的spark集群
[linux@node1 spark-standalone]$ sbin/stop-all.sh
[linux@node1 spark-standalone]$ zk.sh stop
[linux@node2 spark-standalone]$ sbin/stop-master.sh
1）为了防止和Standalone模式冲突，再单独解压一份spark
[linux@node1 software]$ tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module/
2）进入到/opt/module目录，修改spark-3.0.0-bin-hadoop3.2名称为spark-yarn
[linux@node1 module]$ mv spark-3.0.0-bin-hadoop3.2/ spark-yarn
3）修改hadoop配置文件/opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml，添加如下内容
因为测试环境虚拟机内存较少，防止执行过程进行被意外杀死，做如下配置
[linux@node1 hadoop]$ vim yarn-site.xml
<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
4）分发配置文件
[linux@node1 conf]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml
5）修改/opt/module/spark-yarn/conf/spark-env.sh，添加YARN_CONF_DIR配置，保证后续运行任务的路径都变成集群路径
[linux@node1 conf]$ mv spark-env.sh.template spark-env.sh
[linux@node1 conf]$ vim spark-env.sh
YARN_CONF_DIR=/opt/module/hadoop-3.1.3/etc/hadoop
6）启动HDFS以及YARN集群
[linux@node1 hadoop-3.1.3]$ sbin/start-dfs.sh
[linux@node2 hadoop-3.1.3]$ sbin/start-yarn.sh
7）执行一个程序
[linux@node1 spark-yarn]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
参数：–master yarn，表示Yarn方式运行；–deploy-mode表示客户端方式运行程序
8）如果运行的时候，抛出如下异常ClassNotFoundException:com.sun.jersey.api.client.config.ClientConfig
-原因分析：Spark2中jersey版本是2.22，但是yarn中还需要依赖1.9，版本不兼容
-解决方式：在yarn-site.xml中，添加
<property>
<name>yarn.timeline-service.enabled</name>
<value>false</value>
</property>
9）查看node2:8088页面，点击History，查看历史页面
思考：目前是Hadoop的作业运行日志展示，如果想获取Spark的作业运行日志，怎么办？
4.2配置历史服务器
由于是重新解压的Spark压缩文件，所以需要针对Yarn模式，再次配置一下历史服务器。
1）修改spark-default.conf.template名称
[linux@node1 conf]$ mv spark-defaults.conf.template spark-defaults.conf
2）修改spark-default.conf文件，配置日志存储路径（写）
[linux@node1 conf]$ vi spark-defaults.conf
spark.eventLog.enabled true
spark.eventLog.dir hdfs://node1:9820/directory
3）修改spark-env.sh文件，添加如下配置：
[linux@node1 conf]$ vi spark-env.sh
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://node1:9820/directory
-Dspark.history.retainedApplications=30"
参数1含义：WEBUI访问的端口号为18080
参数2含义：指定历史服务器日志存储路径
参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。
2.5.3 配置查看历史日志
为了从Yarn上关联到Spark历史服务器，需要配置关联路径。
1）修改配置文件/opt/module/spark-yarn/conf/spark-defaults.conf
添加如下内容：
spark.yarn.historyServer.address=node1:18080
spark.history.ui.port=18080
2）重启Spark历史服务
[linux@node1 spark-yarn]$ sbin/stop-history-server.sh
[linux@node1 spark-yarn]$ sbin/start-history-server.sh
3）提交任务到Yarn执行
[linux@node1 spark-yarn]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
4）Web页面查看日志：http://node2:8088/cluster
点击“history”跳转到http://node1:18080/
4.3运行流程
Spark有yarn-client和yarn-cluster两种模式，主要区别在于：Driver程序的运行节点。
yarn-client：Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出。
yarn-cluster：Driver程序运行在由ResourceManager启动的APPMaster适用于生产环境。
1）客户端模式（默认）
[linux@node1 spark-yarn]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
2）集群模式
[linux@node1 spark-yarn]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
（1）查看http://node2:8088/cluster页面，点击History按钮，跳转到历史详情页面
（2）http://node1:18080点击Executors->点击driver中的stdout
注意：如果在yarn日志端无法查看到具体的日志，则在yarn-site.xml中添加如下配置并启动Yarn历史服务器
<property>
<name>yarn.log.server.url</name>
<value>http://node1:19888/jobhistory/logs</value>
</property>
注意：hadoop历史服务器也要启动 mr-jobhistory-daemon.sh start historyserver
Mesos模式（了解）
Spark客户端直接连接Mesos；不需要额外构建Spark集群。国内应用比较少，更多的是运用Yarn调度。
几种模式对比
| 模式 | Spark安装机器数 | 需启动的进程 | 所属者 |
|---|---|---|---|
| Local | 1 | 无 | Spark |
| Standalone | 3 | Master及Worker | Spark |
| Yarn | 1 | Yarn及HDFS | Hadoop |
端口号总结
1）Spark查看当前Spark-shell运行任务情况端口号：4040
2）Spark Master内部通信服务端口号：7077 （类比于Hadoop的8020（9000）端口）
3）Spark Standalone模式Master Web端口号：8080（类比于Hadoop YARN任务运行情况查看端口号：8088）
4）Spark历史服务器端口号：18080 （类比于Hadoop历史服务器端口号：19888）
1952
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
