Spark基础学习笔记06：搭建Spark On YARN集群

最新推荐文章于 2024-05-01 15:36:52 发布
VIP文章 最新推荐文章于 2024-05-01 15:36:52 发布
阅读量1k 收藏 6
点赞数
文章标签： spark 学习 big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lwmzl00/article/details/125328019
版权

零、本讲学习目标
学会搭建Spark On YARN模式的集群
能够将Spark应用程序提交到集群运行
一、Spark On YARN架构
Spark On YARN模式遵循YARN的官方规范，YARN只负责资源的管理和调度，运行哪种应用程序由用户自己实现，因此可能在YARN上同时运行MapReduce程序和Spark程序，YARN很好地对每一个程序实现了资源的隔离。这使得Spark与MapReduce可以运行于同一个集群中，共享集群存储资源与计算资源。Spark On YARN模式与Standalone模式一样，也分为client和cluster两种提交方式。
（一）client提交方式
Spark On YARN的client提交方式提交应用程序后的主要进程有：SparkSubmit、ResourceManager、NodeManager、CoarseGrainedExecutorBackend、ExecutorLauncher，运行架构如下图所示：
在这里插入图片描述

与Standalone模式的client提交方式类似，客户端会产生一个名为SparkSubmit的进程，Driver程序则运行于该进程中，且ResourceManager的功能类似于Standalone模式的Master；NodeManager的功能类似于Standalone模式的Worker。当Spark程序运行时，ResourceManager会在集群中选择一个NodeManager进程启动一个名为ExecutorLauncher的子进程，该子进程是Spark的自定义实现，承担YARN中的ApplicationMaster角色，类似MapReduce的MRAp

最低0.47元/天 解锁文章
lwm0810
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark on Yarn集群搭建手册
08-29
Spark on Yan集群搭建的详细过程，减少集群搭建的时间
Spark基础入门-第五章：环境搭建-Spark on YARN
黑马程序员官方博客
09-07 2006
Client模式和Cluster模式最最本质的区别是： Driver程序运行在哪里。Client模式：学习测试时使用，生产不推荐(要用也可以,性能略低,稳定性略低)1.Driver运行在Client上,和集群的通信成本高2.Driver输出结果会在客户端显示Cluster模式：生产环境中使用该模式1.Driver程序在YARN集群中，和集群的通信成本低2.Driver输出结果不能在客户端显示。
Spark on YARN部署模式保姆级教程
weixin_65875490的博客
01-10 1793
没有最好的部署模式，具体要根据实际需求进行部署，由于Spark可以和Hadoop部署在一起，相互协作，Hadoop的HDFS，HBase负责数据存储与管理，Spark负责数据的计算，所以本文将详细讲解Spark on YARN模式的部署。这两种模式的选择取决于实际需求和使用环境，例如，学习、调试阶段可能更适合使用YARN-Client模式，而在生产环境中则常使用YARN-Cluster模式。在Spark中，根据运行模式的不同，有两种提交任务的方式：YARN-Client和YARN-Cluster。
搭建Spark集群（StandAlone模式和YARN模式）
Elijah的博客
03-12 308
目录： 准备环境： jdk1.8.0_91 scala-2.12.13.zip spark-3.0.2-bin-hadoop3.2 hadoop-3.2.2.tar.gz centos7： spark-master spark-slave-1 spark-slave-2 创建虚拟机： 1、创建一台虚拟机，并且安装Centos7，如果不知道怎么做可以参考我之前写的VMware安装Centos7 2、给虚拟机设置静态网络，我用的...
超详细Spark on yarn 集群搭建部署
Alex的博客
11-14 677
1.首先准备软件包 下载地址：https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz 2.解压到对应目录后，修改配置文件（前提Java已经安装过了） 解压的Linux命令：tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz 3.配置环境变量 ...
Spark on Yarn详解
WuBoooo的博客
11-03 4896
Spark on Yarn详解 Spark 可以跑在很多集群上，比如跑在local上，跑在Standalone上，跑在Apache Mesos上，跑在Hadoop YARN上等等。不管你Spark跑在什么上面，它的代码都是一样的，区别只是–master的时候不一样。其中Spark on YARN是工作中或生产上用的非常多的一种运行模式。今天主要对Spark on Yarn 这种方式做讲解。 yarn模式两种提交任务方式 Spark可以和Yarn整合，将Application提交到Yarn上运行，Yarn有两
Spark on YARN
热门推荐
liweihope的博客
06-14 2万+
前言 Spark 可以跑在很多集群上，比如跑在local上，跑在Standalone上，跑在Apache Mesos上，跑在Hadoop YARN上等等。不管你Spark跑在什么上面，它的代码都是一样的，区别只是–master的时候不一样。其中Spark on YARN是工作中或生产上用的非常多的一种运行模式。 YARN产生背景 以前没有YARN的时候，每个分布式框架都要跑在一个集群上面，比如说H...
Spark on YARN 部署搭建详细图文教程
Stars.Sky 的博客
09-15 5653
Spark on YARN 部署搭建详细图文教程
Spark On Yarn
m0_46538284的博客
01-04 533
1.配置Hadoop ①需要在/etc/profile中配置HADOOP_CONF_DIR的目录，目的是为了让Spark找到core-site.xml、hdfs-site.xml和yarn-site.xml【让spark知道NameNode、ResourceManager】，不然会包如下错误：Exception in thread "main" java.lang.Exception: When running with master 'yarn' either HADOOP_CONF_DIR or YA
Spark on Yarn用执行流程图解（包含stage流程）
GSpinach的博客
08-11 4738
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目录前言 前言
Spark环境搭建——on yarn集群模式
01-07
本篇博客，Alice为大家带来关于如何搭建Spark的on yarn集群模式的教程。 文章目录准备工作cluster模式client模式[了解]两种模式的区别 官方文档: http://spark.apache.org/docs/latest/running-on-yarn.html 准备...
Spark实验：On Yarn模式安装部署（带答案）1
08-03
1. 解压Spark安装包 2. 配置Hadoop生态组件相关环境变量 2. 在 master 节点上，关闭HDFS的安全模式： 3. 在 master 节点上
spark yarn模式的搭建.docx
06-15
Spark On Yarn完全分布式集群环境搭建文档。 分为如下几部分： 1、环境的准备; 2、Zookeeper完全分布式搭建; 3、Hadoop2.0 HA集群搭建步骤介绍; 4、Spark On Yarn搭建介绍; 5、集群启动介绍; 最新最全的java培训视频...
Spark源码系列（七）Sparkonyarn具体实现
01-30
本来不打算写的了，但是真的是闲来无事，整天看美剧也没啥意思。这一章打算讲一下Spark onyarn的实现，1.0.0里面...在第一章《spark-submit提交作业过程》的时候，我们讲过Sparkonyarn的在cluster模式下它的main clas
Delta lake with Java--利用spark sql操作数据2
最新发布
kanganrui的专栏
05-01 276
里面涉及的数据集YellowTaxi，在如下地址下载，这个也是Delta Lake Up and Runing的配套仓库。具体运行结果如下，没有什么需要注意的，纯粹就是输入一下代码，验证一下结果。
实验五 Spark SQL编程初级实践
weixin_66547608的博客
04-25 1682
实验五 Spark SQL编程初级实践，从零开始，教你安装，有详细图表和注释。新手小白也可以学会
Spark核心名词解释与编程
m0_51388399的博客
04-28 758
14)Transformations：转换(Transformations) (如：map, filter, groupBy, join等)，Transformations操作是Lazy的，也就是说从一个RDD转换生成另一个RDD的操作不是马上执行，Spark在遇到Transformations操作时只会记录需要这样的操作，并不会去执行，需要等到有Actions操作的时候才会真正启动计算过程进行计算。改参数，代表的是spark作业的执行方式，或者指定的spark程序的cluster-manager的类型。
spark错误集锦
chanyue123的博客
04-26 858
spark遇到的错误 持续更新
Spark RDD
m0_51388399的博客
04-28 779
最后，RDD会自动从节点故障中恢复。1)输入：在Spark程序运行中，数据从外部数据空间（如分布式存储：textFile读取HDFS等，parallelize方法输入Scala集合或数据）输入Spark，数据进入Spark运行时数据空间，转化为Spark中的数据块，通过BlockManager进行管理。需要知道RDD操作算子的分类，基本上分为两类：transformation和action，当然更加细致的分，可以分为输入算子，转换算子，缓存算子，行动算子，整个RDD原生数据空间如图-21所示。
spark on yarn 集群部署
07-27
对于Spark on YARN的集群部署，您可以按照以下步骤进行操作： 1. 首先，确保已经安装和配置好Hadoop和YARN集群。确保YARN ResourceManager和NodeManager正在运行，并且集群配置正确。 2. 下载Spark二进制文件并解压缩到每个节点上。确保在所有节点上使用相同的Spark版本。 3. 在Spark的conf目录中，创建一个名为spark-env.sh的文件，并设置以下参数： ``` export HADOOP_CONF_DIR=<Hadoop配置目录> export YARN_CONF_DIR=<YARN配置目录> ``` 将 `<Hadoop配置目录>` 替换为Hadoop配置文件所在的目录路径，将 `<YARN配置目录>` 替换为YARN配置文件所在的目录路径。 4. 在Spark的conf目录中，打开spark-defaults.conf文件，并添加以下参数： ``` spark.master yarn spark.submit.deployMode cluster ``` 5. 根据您的需求，可以根据集群规模和资源分配需求，调整以下参数： ``` spark.executor.memory spark.executor.cores spark.executor.instances ``` 6. 您还可以根据需要设置其他Spark和YARN相关的参数，如队列设置、日志级别等。 7. 在启动Spark应用程序之前，确保您的环境变量中包含Spark和Hadoop的bin目录。您可以将这些目录添加到PATH环境变量中。 8. 使用以下命令提交Spark应用程序： ``` ./bin/spark-submit --class <main-class> --master yarn --deploy-mode cluster <application-jar> [application-arguments] ``` 将 `<main-class>` 替换为您的应用程序的主类，将 `<application-jar>` 替换为您的应用程序的JAR文件路径。 9. Spark提交应用程序后，YARN将为您的应用程序启动相应的Executor，并将资源分配给它们。您可以使用YARN的Web界面或命令行工具来监视和管理Spark应用程序。 请注意，这只是Spark on YARN集群部署的基本步骤，您可能需要根据您的特定环境和需求进行一些调整和配置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值