Spark学习--1、Spark入门（Spark概述、Spark部署、Local模式、Standalone模式、Yarn模式）

1、Spark概述

1.1 什么是Spark

Spark是一个基于内存的快速、通用、可扩展的大数据分析计算引擎。

1.2 Hadoop和Spark历史

Hadoop的Yarn框架比Spark框架诞生的晚，所以Spark自己也设计了一套资源调度框架。

1.3 Hadoop和Spark框架对比

1.4 Spark内置模块

模块名	作用
Spark Core	实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集（Resilient Distributed DataSet,简称RDD）的API定义
Spark SQL	是Spark用来操作结构化数据的程序。通过Spark SQL，我们可以使用SQL或者Apache Hive版本的HQL来查询数据。Spark SQL支持多种数据源，比如Hive表、Parquet以及JSON等
Spark Streaming	是Spark提供的对实时数据进行流式计算的组件。提供了用来操作数据量的API，并且与Spark Core的RDD API高度对应
Spark MLib	提供常见的机器学习功能的程序库。包括分类、回归、聚类、协同过滤，还提供了模型评估、数据、导入等额外的支持功能
Spark GraphX	主要用于图形并行计算和图挖掘系统的组件
集群管理器	Spark设计为可以高效地在一个计算节点到数千个计算节点之间伸缩计算。为了实现这样的要求，同时获得最大灵活性，Spark支持在各种集群管理器（Cluster Manager）上运行，包括Hadoop Yarn、Apache Mesos，以及Spark自带的一个简易调度器，叫做独立调度器

1.5 Spark特点

1、快：与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。Spark实现了高效地DAG执行引擎，可以通过基于内存来高效处理数据流。计算的中间结果是存在于内存中的。
2、易用：Spark支持Java、Python和Scala的API，还支持超过80种高级算法，使用户可以快速构建不同的应用。而且Spark支持交互式的Python和Scala的Shell，可以非常方便的在这些Shell中使用Spark集群来验证解决问题的办法。
3、通用：Spark提供了统一的解决方案。Spark可以用于交互式查询（Spark SQL）、实时流处理（Spark Streaming）、机器学习（Spark Lib）和图计算（GraphX）。这些不同类型的处理都可以在同一个应用中无缝使用、减少了开发和维护的人力成本和部署平台的物力成本。
4、兼容性：Spark可以非常方便地与其他的开源产品进行融合。比如，Spark可以使用Hadoop的Yarn好Apache Mesos作为它的资源管理和调度器，并且可以处理所以Hadoop支持的数据，包括HDFS、HBase等。这对于已经部署Hadoop集群的用户特别重要，因为不需要做任何数据迁移就可以使用Spark强大的处理能力。

2、Spark 运行模式

部署Spark集群大体上分为两种模式：单机模式与集群模式
（1）Local模式： 在本地部署单个Spark服务
（2）Standalone模式：Spark自带的任务调度模式。（国内常用）
（3）YARN模式： Spark使用Hadoop的YARN组件进行资源与任务调度。（国内最常用）
（4）Mesos模式： Spark使用Mesos平台进行资源与任务的调度。（国内很少用）

2.1 Spark安装地址

1）官网地址：http://spark.apache.org/
2）文档查看地址：https://spark.apache.org/docs/3.3.0/
3）下载地址：https://spark.apache.org/downloads.html https://archive.apache.org/dist/spark/

2.2 Local模式

Local模式就是运行在一台计算机上的模式，通常就是用于在本机上练手和测试。

2.2.1 安装使用

1、上传并解压Spark安装包
2、官方求PI案例

##先进入Spark软件的家目录
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.12-3.3.0.jar \
10

##	--class 表示要执行程序的主类
##  --master local[2] 
##  local:没有指定线程数，则所以计算都运行在一个线程中，没有任何并行计算
## 	local[K]:指定使用K个Core来运行计算
##  local[*]：默认模式。自动帮你按照CPU最多核来设置线程数
##	spark-examples_2.12-3.3.0.jar：要运行的程序；
##	10：要运行程序的输入参数（计算圆周率π的次数，计算次数越多，准确率越高）；

3、查看spark-submit所以参数

bin/spark-submit

4、结果展示

2.2.2 查看任务运行详情

再次运行求PI任务，增加任务次数

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.12-3.3.0.jar \
1000

在任务运行还没有完成时，可登录hadoop102:4040查看程序运行结果

2.3 Standalone模式

Standalone模式是Spark自带的资源调度引擎，构建一个由Master+Worker构成的Spark集群，Spark运行在集群中。这个standalone区别于Hadoop的，这里的Standalone是指只用Spark来搭建一个集群，不需要借助其他框架。

2.3.1 集群角色之资源管理

Master和Worker集群资源管理

Master和Worker是Spark的守护进程、集群资源管理者，即Spark在特定模式（Standalone）下正常运行必须要有的后台常驻进程。

Driver和Executor任务的管理者

Driver和Executor是临时程序，当有具体任务提交到Spark集群才会开启的程序。
Standalone是Spark自带的资源调度引擎，构建一个由Master+Worker构成的Spark集群，Spark运行在集群中。

2.3.2 安装使用

1、集群规划

	hadoop102	hadoop103	hadoop104
Spark	Master Worker	Worker	Worker

2、再解压一份Spark安装包，并修改解压后的文件夹名称为spark-standalone
3、进入Spark的配置目录/opt/module/spark-standalone/conf
4、重命名conf/workers.template文件为conf/workers，并修改works文件内容，添加work节点

vim workers
添加内容如下：
hadoop102
hadoop103
hadoop104

5、修改重命名文件conf/spark-env.sh.template为conf/spark-env.sh文件，添加master节点

SPARK_MASTER_HOST=hadoop102
SPARK_MASTER_PORT=7077

6、分发spark-standalone包
7、启动Spark集群

##进入spark-standalone的家目录
sbin/start-all.sh

8、查看三台服务器运行进程

9、网页查看：hadoop102:8080（master web的端口，相当于yarn的8088端口）
目前还看不到任何任务的执行信息。
10、官方求PI案例

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
./examples/jars/spark-examples_2.12-3.3.0.jar \
10

##--master spark://hadoop102:7077指定要连接的集群的master（配置文件中所配置的信息一致）。

11、页面查看http://hadoop102:8080/
·8080：master的webUI
·4040：application的webUI的端口号

2.3.3 参数说明

我们当然也可以根据实际任务需求指定使用资源
1、配置Executor可用内存为2G，使用CPU核数为2个

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
--executor-memory 2G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.12-3.3.0.jar \
10

2、页面查看http://hadoop102:8080/

3、基本语法

bin/spark-submit \
--class <main-class>
--master <master-url> \
... # other options
<application-jar> \
[application-arguments]
##参数	解释
##--class	Spark程序中包含主函数的类
##--master	Spark程序运行的模式
##--executor-memory 1G	指定每个executor可用内存为1G
##--total-executor-cores 2	指定所有executor使用的cpu核数为2个
##application-jar	打包好的应用jar，包含依赖。这个URL在集群中全局可见。 比如hdfs:// 共享存储系统，如果是file:// path，那么所有的节点的path都包含同样的jar
##application-arguments	传给main()方法的参数

2.3.4 配置历史服务

由于spark-shell停止掉后，hadoop102:4040页面就看不到历史任务的运行情况，所以我们需要历史服务器任务日志。
1、修改spark-default.conf.template名称

mv spark-defaults.conf.template spark-defaults.conf

2、修改spark-default.conf文件，配置日志存储路径（写）

spark.eventLog.enabled          true
spark.eventLog.dir              hdfs://hadoop102:8020/directory

## 注意：需要启动Hadoop集群，HDFS上的目录需要提前存在(因为历史任务日志数据存储在HDFS上)。

3、修改spark-env.sh文件，添加如下配置：

export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory 
-Dspark.history.retainedApplications=30"
# 参数1含义：WEBUI访问的端口号为18080
# 参数2含义：指定历史服务器日志存储路径（读）
# 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

4、分发配置文件
5、启动历史服务

sbin/start-history-server.sh

6、再次执行任务

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.12-3.3.0.jar \
10

7、查看Spark历史服务地址：hadoop102:18080

2.3.5 配置高可用（HA）

1、高可用原理

2、配置高可用
（0）停止Spark集群
（1）Zookeeper正常安装并启动
（2）修改spark-env.sh文件添加如下配置

#注释掉如下内容：
#SPARK_MASTER_HOST=hadoop102
#SPARK_MASTER_PORT=7077

#添加如下内容。配置由Zookeeper管理Master，在Zookeeper节点中自动创建/spark目录，用于管理：
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER 
-Dspark.deploy.zookeeper.url=hadoop102,hadoop103,hadoop104 
-Dspark.deploy.zookeeper.dir=/spark"

#添加如下代码
#Zookeeper3.5的AdminServer默认端口是8080，和Spark的WebUI冲突
export SPARK_MASTER_WEBUI_PORT=8989

（3）分发配置文件
（4）在hadoop102上启动全部节点
（5）在hadoop103上单独启动master节点
3、高可用测试
（1）查看hadoop102的master进程
（2）Kill掉hadoop102的master进程，页面中观察http://hadoop103:8080/的状态是否切换为alive。

（3）再启动hadoop102的master进程

2.3.5 运行流程

Spark有Standalone-Client和Standalone-Cluster两种模式，主要区别在于：Driver程序的运行节点。
1、客户端模式

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077,hadoop103:7077 \
--executor-memory 2G \
--total-executor-cores 2 \
--deploy-mode client \
./examples/jars/spark-examples_2.12-3.3.0.jar \
10

–deploy-mode client，表示Driver程序运行在本地客户端，默认模式。

2、集群模式模式

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077,hadoop103:7077 \
--executor-memory 2G \
--total-executor-cores 2 \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.3.0.jar \
10

–deploy-mode cluster，表示Driver程序运行在集群。

2.4 Yarn模式

Spark客户端直接连接Yarn，不需要额外构建Spark集群

2.4.1 安装使用

（0）停止Standalone模式下的spark集群
（1）为了防止和Standalone模式冲突，再单独解压一份spark
（2）进入到/opt/module目录，修改spark-3.3.0-bin-hadoop3.2名称为spark-yarn
（3）修改hadoop配置文件/opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml，添加如下内容（因为测试环境虚拟机内存较少，防止执行过程进行被意外杀死，做如下配置）

<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
     <name>yarn.nodemanager.pmem-check-enabled</name>
     <value>false</value>
</property>
<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
     <name>yarn.nodemanager.vmem-check-enabled</name>
     <value>false</value>
</property>

4、分发配置文件
5、修改/opt/module/spark-yarn/conf/spark-env.sh，添加YARN_CONF_DIR配置，保证后续运行任务的路径都变成集群路径

YARN_CONF_DIR=/opt/module/hadoop/etc/hadoop 

6、启动HDFS以及YARN集群
7、执行一个程序

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.3.0.jar \
10

#参数：--master yarn，表示Yarn方式运行；--deploy-mode表示客户端方式运行程序

8、查看hadoop103:8088页面，点击History，查看历史页面

2.4.2 配置历史服务

由于是重新解压的Spark压缩文件，所以需要针对Yarn模式，再次配置一下历史服务器。
1、修改spark-default.conf.template名称

mv spark-defaults.conf.template spark-defaults.conf

2、修改spark-default.conf文件，配置日志存储路径（写）

spark.eventLog.enabled          true
spark.eventLog.dir               hdfs://hadoop102:8020/directory

3、修改spark-env.sh文件，添加如下配置

export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory 
-Dspark.history.retainedApplications=30"

# 参数1含义：WEBUI访问的端口号为18080
# 参数2含义：指定历史服务器日志存储路径（读）
# 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

2.4.3 配置查看历史日志

为了能从Yarn上关联到Spark历史服务器，需要配置spark历史服务器关联路径。
目的：点击yarn（8088）上spark任务的history按钮，进入的是spark历史服务器（18080），而不再是yarn历史服务器（19888）。
1、修改配置文件/opt/module/spark-yarn/conf/spark-defaults.conf

#添加如下内容：
spark.yarn.historyServer.address=hadoop102:18080
spark.history.ui.port=18080

2、重启Spark历史服务
3、提交任务到Yarn执行

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.3.0.jar \
10

4、Web页面查看日志：http://hadoop103:8088/cluster
点击“history”跳转到http://hadoop102:18080/

2.4.4 运行流程

Spark有yarn-client和yarn-cluster两种模式，主要区别在于：Driver程序的运行节点。
yarn-client：Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出。
yarn-cluster：Driver程序运行在由ResourceManager启动的APPMaster，适用于生产环境。

1、客户端模式（默认）
（1）执行任务

	bin/spark-submit \
	--class org.apache.spark.examples.SparkPi \
	--master yarn \
	--deploy-mode client \
	./examples/jars/spark-examples_2.12-3.3.0.jar \
	10

（2）任务执行结果输出在本地控制台中

（3）yarn查看任务


YarnClient运行模式介绍

2、集群模式
（1）执行任务

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.3.0.jar \
10

（2）本地看不见结果输出

（3）看http://hadoop103:8088/cluster页面，点击History按钮，跳转到历史详情页面

（4）查看结果输出：http//8080点击Executors->点击driver中的stdout

2.5 Mesos模式

Spark客户端直接连接Mesos；不需要额外构建Spark集群。国内应用比较少，更多的是运用Yarn调度。

2.6 几种模式对比

模式	Spark安装机器数	需要启动的进程	所属者
local	1	无	Spark
Standalone	3	Master及Worker	Spark
Yarn	1	Yarn及HDFS	Hadoop

2.7 端口号总结

1、Spark查看当前Spark-shell运行任务情况端口号：4040
2、Spark Master内部通信服务端口号：7070
3、Spark Standalone模式Master Web端口号：8080
4、Spark历史服务器端口号：18080