Spark集群的三种模式

最新推荐文章于 2024-04-13 18:49:38 发布
最新推荐文章于 2024-04-13 18:49:38 发布
阅读量2.6k 收藏 12
点赞数 1
分类专栏： # Spark 文章标签： spark hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36593748/article/details/122830663
版权

文章目录

1、Spark的由来

  • 定义：Hadoop主要解决，海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。

1.1 Hadoop的发展

  • Hadoop1.x存在的问题：
    • NameNode不能高可用
    • MR框架中资源调度和任务调度耦合
    • MR基于磁盘计算，效率低
  • Hadoop2.x对应的解决了以上几个问题
    • NameNode高可用
    • 将资源调度和任务调度解耦
    • 计算框架可插拔

Spark框架诞生早于Yarn，所以Spark自己设计了一套资源调度框架。

1.2 MapReduce与Spark对比

MR不适合迭代计算

在这里插入图片描述

Spark支持迭代计算和图形计算：因为Spark中间结果不落盘。但是Shuffle也得落盘。

在这里插入图片描述

2、Spark内置模块

在这里插入图片描述

Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。

Spark SQL：是Spark用来操作结构化数据的程序包。通过Spark SQL，我们可以使用 SQL或者Apache Hive版本的HQL来查询数据。Spark SQL支持多种数据源，比如Hive表、Parquet以及JSON等。

Spark Streaming：是Spark提供的对实时数据进行流式计算的组件。提供了用来操作数据流的API，并且与Spark Core中的 RDD API高度对应。

Spark MLlib：提供常见的机器学习功能的程序库。包括分类、回归、聚类、协同过滤等，还提供了模型评估、数据 导入等额外的支持功能。

Spark GraphX：主要用于图形并行计算和图挖掘系统的组件。

集群管理器：Spark设计为可以高效地在一个计算节点到数千个计算节点之间伸缩计算。为了实现这样的要求，同时获得最大灵活性，Spark支持在各种集群管理器（Cluster Manager）上运行，包括Hadoop YARN、Apache Mesos，以及Spark自带的一个简易调度器，叫作独立调度器。

3、Spark运行模式

  • Local模式：本地调试

  • Standalone模式：Spark自带的任务调度模式

  • Yarn模式：使用Yarn进行资源调度和任务调度

3.1 Standalone模式部署

  • 集群规划
hadoop102hadoop103hadoop104
SparkMaster、WorkerWorkerWorker

具体步骤：

  1. 解压安装包至指定目录

    tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module/
mv spark-3.0.0-bin-hadoop3.2/ spark-standalone

  2. 修改配置文件

    slaves

    hadoop102
hadoop103
hadoop104

    spark-env.sh

    SPARK_MASTER_HOST=hadoop102
SPARK_MASTER_PORT=7077

  3. 分发spark-standalone

    xsync spark-standalone/

  4. 在hadoop102上启动集群

    sbin/start-all.sh

  5. jps查看启动情况

  6. 测试

    bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

    参数含义

    参数解释可选值举例
    –classSpark程序中包含主函数的类
    –masterSpark程序运行的模式本地模式：local[*]、spark://hadoop102:7077、Yarn
    –executor-memory 1G指定每个executor可用内存为1G符合集群内存配置即可，具体情况具体分析。
    –total-executor-cores 2指定所有executor使用的cpu核数为2个
    application-jar打包好的应用jar，包含依赖。这个URL在集群中全局可见。 比如hdfs:// 共享存储系统，如果是file:// path，那么所有的节点的path都包含同样的jar
    application-arguments传给main()方法的参数

配置历史服务器

  1. 修改配置文件

    spark-defaults.conf

    spark.eventLog.enabled          true
spark.eventLog.dir              hdfs://hadoop102:8020/directory

    spark-env.sh

    export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory 
-Dspark.history.retainedApplications=30"

    # 参数1含义：WEBUI访问的端口号为18080

    # 参数2含义：指定历史服务器日志存储路径（读）

    # 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

  2. 重新分发修改的配置文件

    xsync spark-defaults.conf spark-env.sh

  3. 重启spark及其历史服务器

    sbin/stop-history-server.sh
sbin/stop-all.sh

sbin/start-all.sh
sbin/start-history-server.sh

  4. 查看Spark历史服务器hadoop102:18080

配置高可用

  1. 停止集群

  2. 启动ZooKeeper

  3. 修改配置文件

    spark-env.sh

    #注释掉如下内容：
#SPARK_MASTER_HOST=hadoop102
#SPARK_MASTER_PORT=7077

#添加上如下内容。配置由Zookeeper管理Master，在Zookeeper节点中自动创建/spark目录，用于管理：
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER 
-Dspark.deploy.zookeeper.url=hadoop102,hadoop103,hadoop104 
-Dspark.deploy.zookeeper.dir=/spark"

#添加如下代码
#Zookeeper3.5的AdminServer默认端口是8080，和Spark的WebUI冲突
export SPARK_MASTER_WEBUI_PORT=8989

  4. 重新分发修改后的文件

    xsync spark-env.sh

  5. 重启集群

    sbin/start-all.sh
sbin/start-history-server.sh

  6. 在hadoop103上启动master

    sbin/start-master.sh

  7. 通过hadoop103:8989访问测试

  8. 通过jps查看进程状态

  9. kill掉hadoop102的master进程测试

Spark HA集群访问

bin/spark-shell \
--master spark://hadoop102:7077,hadoop103:7077 \
--executor-memory 2g \
--total-executor-cores 2

参数：–master spark://hadoop102:7077指定要连接的集群的master

注：一旦配置了高可用以后，master后面要连接多个master

运行模式

根据Driver程序的运行位置分为如下两种模式

  • standalone-client(默认模式)

    bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077,hadoop103:7077 \
--executor-memory 2G \
--total-executor-cores 2 \
--deploy-mode client \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

  • standalone-cluster

    bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077,hadoop103:7077 \
--executor-memory 2G \
--total-executor-cores 2 \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

客户端模式的计算结果将打印在本地，集群模式只能在web页面中找到

在这里插入图片描述

3.2 Yarn模式安装部署

  1. 解压安装包到指定位置

    tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module/
mv spark-3.0.0-bin-hadoop3.2/ spark-yarn

  2. 修改配置文件

    修改hadoop中的yarn-site.xml，分发并重启hadoop集群

    <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
     <name>yarn.nodemanager.pmem-check-enabled</name>
     <value>false</value>
</property>

<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
     <name>yarn.nodemanager.vmem-check-enabled</name>
     <value>false</value>
</property>

    spark-env.sh

    # 修改/opt/module/spark-yarn/conf/spark-env.sh，添加YARN_CONF_DIR配置，保证后续运行任务的路径都变成集群路径
YARN_CONF_DIR=/opt/module/hadoop-3.1.3/etc/hadoop

  3. 启动spark集群并测试

    sbin/start-history-server.sh
sbin/start-all.sh

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

配置历史服务器

  1. 修改配置文件

    spark-defaults.conf

    #写
spark.eventLog.enabled          true
spark.eventLog.dir              hdfs://hadoop102:8020/directory

#读
spark.yarn.historyServer.address=hadoop102:18080
spark.history.ui.port=18080

    spark-env.sh

    export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory 
-Dspark.history.retainedApplications=30"

    # 参数1含义：WEBUI访问的端口号为18080

    # 参数2含义：指定历史服务器日志存储路径（读）

    # 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

  2. 重新分发修改的配置文件

    xsync spark-defaults.conf spark-env.sh

  3. 重启spark及其历史服务器

    sbin/stop-history-server.sh
sbin/stop-all.sh

sbin/start-all.sh
sbin/start-history-server.sh

  4. 提交任务到Yarn

    bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

  5. Web页面查看日志：http://hadoop103:8088/cluster，点击history进入hadoop102:18080

运行模式

Spark有yarn-client和yarn-cluster两种模式，主要区别在于：Driver程序的运行节点。

yarn-client：Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出。

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

yarn-cluster：Driver程序运行在由ResourceManager启动的APPMaster，适用于生产环境。

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

如果在yarn日志端无法查看到具体的日志，则在yarn-site.xml中添加如下配置并启动Yarn历史服务器

4、WordCount案例

  1. Maven依赖和scala打包插件

    <dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.12</artifactId>
        <version>3.0.0</version>
    </dependency>
</dependencies>

<build>
	<finalName>WordCount</finalName>
    <plugins>
        <plugin>
            <groupId>net.alchim31.maven</groupId>
            <artifactId>scala-maven-plugin</artifactId>
            <version>3.4.6</version>
            <executions>
                <execution>
                   <goals>
                      <goal>compile</goal>
                      <goal>testCompile</goal>
                   </goals>
                </execution>
             </executions>
        </plugin>
        
        
        <plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-assembly-plugin</artifactId>
    <version>3.0.0</version>
    <configuration>
        <descriptorRefs>
            <descriptorRef>jar-with-dependencies</descriptorRef>
        </descriptorRefs>
    </configuration>
    <executions>
        <execution>
            <id>make-assembly</id>
            <phase>package</phase>
            <goals>
                <goal>single</goal>
            </goals>
        </execution>
    </executions>
</plugin>
    </plugins>
</build>

  2. 代码

    package com.atguigu.spark

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object WordCount {

    def main(args: Array[String]): Unit = {

        //1.创建SparkConf并设置App名称
        val conf = new SparkConf().setAppName("WC").setMaster("local[*]")

        //2.创建SparkContext，该对象是提交Spark App的入口
        val sc = new SparkContext(conf)

        //3.读取指定位置文件:hello atguigu atguigu
        val lineRdd: RDD[String] = sc.textFile("input")

        //4.读取的一行一行的数据分解成一个一个的单词（扁平化）(hello)(atguigu)(atguigu)
        val wordRdd: RDD[String] = lineRdd.flatMap(line => line.split(" "))

        //5. 将数据转换结构：(hello,1)(atguigu,1)(atguigu,1)
        val wordToOneRdd: RDD[(String, Int)] = wordRdd.map(word => (word, 1))

        //6.将转换结构后的数据进行聚合处理 atguigu:1、1 =》1+1  (atguigu,2)
        val wordToSumRdd: RDD[(String, Int)] = wordToOneRdd.reduceByKey((v1, v2) => v1 + v2)

        //7.将统计结果采集到控制台打印
        val wordToCountArray: Array[(String, Int)] = wordToSumRdd.collect()
        wordToCountArray.foreach(println)

        //一行搞定
        //sc.textFile(args(0)).flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _).saveAsTextFile(args(1))

        //8.关闭连接
        sc.stop()
    }
}

  3. log4j.properties

    log4j.rootCategory=ERROR, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# Set the default spark-shell log level to ERROR. When running the spark-shell, the
# log level for this class is used to overwrite the root logger's log level, so that
# the user can have different defaults for the shell and regular Spark apps.
log4j.logger.org.apache.spark.repl.Main=ERROR

# Settings to quiet third party logs that are too verbose
log4j.logger.org.spark_project.jetty=ERROR
log4j.logger.org.spark_project.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=ERROR
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=ERROR
log4j.logger.org.apache.parquet=ERROR
log4j.logger.parquet=ERROR

# SPARK-9183: Settings to avoid annoying messages when looking up nonexistent UDFs in SparkSQL with Hive support
log4j.logger.org.apache.hadoop.hive.metastore.RetryingHMSHandler=FATAL
log4j.logger.org.apache.hadoop.hive.ql.exec.FunctionRegistry=ERROR
MelodyYN
关注
  • 1
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Spark运行过程-三种模式
hua_chang的博客
03-14 602
ark的运行模式多种多样，灵活多变，部署在单机上时，既可以用本地模式运行，也可以用伪分布模式运行，而当以分布式集群方式部署时，也有众多的运行模式可供选择，这取决于集群的实际情况，底层的资源调度即可以依赖外部资源调度框架，也可以使用Spark内建的Standalone模式。 1、本地模式：Spark单机运行，常用于本地开发测试，本地还分为local和local cluster。 2、Standalo...
Spark之三大集群模式—详解（3）
一个有趣的人，咱们处处看！
04-17 1184
standalone集群模式 铁子话不多说，开整 ↓↓↓↓↓↓ 1、集群角色介绍 standalone独立集群模式–开发测试使用 Spark是基于内存计算的大数据并行计算框架， 实际中运行计算任务肯定是使用集群模式， 那么我们先来学习Spark自带的standalone集群模式了解一下它的架构及运行机制。 Standalone集群使用了分布式计算中的master-slave模型， master...
spark三种模式【Standalone 模式、yarn 运行模式、local(本机)】
lyq7269的博客
08-07 8081
Standalone 模式 standalone模式也叫作独立模式，自带完整的服务，可单独部署到一个集群中，无序依赖任何其他资源管理系统。 从一定程度上来说，该模式是其他两种模式的基础。借鉴Spark开发模式，我们可以得到一种开发新型计算框架的一般思路：先设计出它的standalone模式，为了快速开发，期初不需要考虑服务（比如master、slaves）的容错性，之后开发相应的wrapper，将standalone模式下的服务原封不动的部署到资源管理系统yarn或者mesos上，有资源管理系统负责服务本身
深度解析 Spark（进阶）：架构、集群运行机理与核心组件详解
最新发布
KKwan的博客
04-13 1624
Spark 应用程序作为集群上独立的进程集运行，由SparkContext 主程序（称为驱动程序）中的对象进行协调。具体来说，为了在集群上运行，SparkContext 可以连接到多种类型的集群管理器 （Spark 自己的独立集群管理器、Mesos、YARN 或 Kubernetes），这些集群管理器跨应用程序分配资源。连接后，Spark 会获取集群中节点上的执行程序，这些执行程序是为应用程序运行计算和存储数据的进程。
一篇文章读懂：Spark运行模式
不断学习，不断进步，提高自己
05-30 1489
本文主要讲解Spark性能调优与原理分析
三种方式的spark on kubernetes对比
05-13
三种方式的spark on kubernetes对比，第一种：spark原生支持Kubernetes资源调度；第二种：google集成的Kubernetes的spark插件sparkoperator；第三种：standalone方式运行spark集群
Spark环境搭建——standalone集群模式
01-07
这篇博客，Alice为大家带来的是Spark集群环境搭建之——standalone集群模式。 文章目录集群角色介绍集群规划修改配置并分发启动和停止查看web界面测试 集群角色介绍  Spark是基于内存计算的大数据并行计算框架，...
spark集群部署.docx
12-07
Standalone模式是Spark自带的集群管理器，适合在没有其他资源管理框架的环境中快速搭建Spark集群。而Mesos模式则是一个通用的分布式资源管理框架，可以支持多个计算框架，但由于应用相对较少，这里不作详细展开。 ...
Linux安装Spark集群
09-14
Linux安装Spark集群 Spark可以在只安装了JDK、scala的机器上直接单机安装，但是这样的话只能使用单机模式运行不涉及分布式运算和分布式存储的代码，例如可以单机安装Spark，单机运行计算圆周率的Spark程序。...
Spark集群模式安装.pdf
01-02
Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询...
Spark内容分享(九)：三种 Spark 部署模式介绍
之乎者也·的博客
01-01 1327
在提交成功后, 将alive master直接kill掉不会影响程序运行，当新的master接收集群后, 程序继续运行, 正常得到结果。在YARN中 有一个历史服务器, 其功能是将YARN运行的程序的历史日志记录下来, 通过历史服务器方便用户查看程序运行的历史信息.Spark的历史服务器, 功能: 将Spark运行的程序的历史日志记录下来, 通过历史服务器方便用户查看程序运行的历史信息.不同的是, 这个解释器环境 运行的不是python代码, 而是scala程序代码。
SparkCore 运行架构
Java大数据
10-10 355
从经典的WordCount来看SparkCore运行架构 术语： 相关术语 含义 Application 基于Spark进行构建的用户程序 。由集群中的一个driver program以及多个executors组成 Application jar 包含用户的Spark应用程序的Jar包。在某些场景下，用户可能想创建“Uber jar”，它包含用户的应用程序和它的依赖。用户的Ja...
Spark系列(四)Spark集群模式详解
淡淡的倔强的博客
07-10 2100
前言 Spark的部署模式有Local、Local-Cluster、Standalone、Yarn、Mesos,其中Yarn和Mesos是类似的，都不需要额外部署Spark集群,其中Yarn也是有Yarn-Client，Yarn-Cluster两种模式。Mesos和Yarn差不多，在这就不详细说明了。 一、Local模式 Local模式分为Local本地模式和Local-Cluster本地伪...
详解Spark运行模式（local+standalone+yarn）
大数据
06-30 4775
Spark 有多种运行模式：1.可以运行在一台机器上，称为 Local（本地）运行模式。 2.可以使用 Spark 自带的资源调度系统，称为 Standalone 模式。 3.可以使用 Yarn、Mesos、Kubernetes 作为底层资源调度系统，称为 Spark On Yarn、Spark On Mesos、Spark On K8S。 Driver 是 Spark 中的主控进程，负责执行应用程序的 main() 方法，创建 SparkContext 对象，负责与 Spark 集群进行
Spark有几种部署方式？
大数据流浪法师的学习笔记与分享
05-25 1561
Spark支持3种集群管理器（Cluster Manager） Standalone：独立模式，Spark原生的简单集群管理器，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统，使用Standalone可以很方便地搭建一个集群； Apache Mesos：一个强大的分布式资源管理框架，它允许多种不同的框架部署在其上，包括yarn； Hadoop YARN：统一的资源管理机制，在上面可以运行多套计算框架，如map reduce、storm等，根据driver在集群中的位置不同，分为yar
Activity的四种启动模式
FlippedY的博客
09-25 731
Activity的四种启动模式 附加：返回栈是一组存放Activity集合的栈，用来管理Activity。当Activity位于栈顶时，Activity则会显示给用户（系统总是显示栈顶的Activity给用户），Activity可叠加，每次创建一个新的Activity，新的Activity则会入栈；若调用finish()方法或按下返回键（bankspace）,此时Activity会出栈（Activity会销毁）。 standard模式 默认情况下，Activity的启动方式为standard模式，在此模
Spark Client和Cluster两种运行模式的工作流程
SummerMangoZz的博客
05-22 8862
1.client mode: In client mode, the driver is launched in the same process as the client that submits the application..也就是说在Client模式下，Driver进程会在当前客户端启动，客户端进程一直存在直到应用程序运行结束。 该模式下的工作流程图主要如下： 工作流程
spark三种集群部署模式的url分别是什么
06-09
Spark有以下三种集群部署模式： 1. Standalone模式：在这种模式下，Spark自己管理资源，不依赖于Hadoop，适合于单独使用Spark的场景。URL为：https://spark.apache.org/docs/latest/spark-standalone.html 2. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MelodyYN

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值