spark 提交任务方式（spark-yarn和spark-client）

最新推荐文章于 2024-05-21 14:54:56 发布
最新推荐文章于 2024-05-21 14:54:56 发布
阅读量1.8k 收藏 3
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/woloqun/article/details/80635183
版权

yarn-cluster和yarn-client方式的区别：

yarn-cluster的ApplicationMaster在任一一台NodeManager上启动，申请启动的Executor反向注册到AM所在的NodeManager，

而yarn-client方式的用ExecutorLancher替代AM，ExecutorLancher的作用很有限，它向RM申请一批container启动Executor，

而启动的Executor反向注册到提交任务的机器上的driver进程

具体的流程细节参照下面的流程图

建议：

调试的情况下可以使用yarn-client方式，可以直接在控制台查看日志，yarn-cluster方式查看日志的话还需要用yarn application -logs applicationid这种方式
这里写图片描述

woloqun
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark-3.2.2-bin-3.0.0-cdh6.3.2
10-20
内容概要：由于cdh6.3.2的spark版本为2.4.0，并且spark-sql被阉割，现基于cdh6.3.2，scala2.12.0，java1.8，maven3.6.3，,对spark-3.2.2源码进行编译 应用：该资源可用于cdh6.3.2集群配置spark客户端，用于spark-sql
spark初始化源码阅读sparkonyarn的client和cluster区别
10-20
ClientActor 是 Client 端的 Actor，负责与 Master 节点通信，提交任务和资源调度信息。ClientActor 通过 AppClient 创建，AppClient 负责注册任务到 Master 节点上。 Cluster Cluster 是 Spark 的执行环境，负责...
Spark Yarn API 在线任务提交
he329867402的专栏
11-22 3124
针对在进行spark任务在线提交过程中遇到的问题和解决方案的一点分享。
Spark的五种提交作业方式
log1119的博客
08-25 2671
该文介绍了Spark的五种作业提交方式
使用java远程提交spark任务到yarn集群
最新发布
IT深耕十余载，大道之简
05-21 484
要使用Java远程提交Spark任务到YARN集群，你需要遵循几个步骤。
spark提交任务流程
m0_37967990的博客
04-28 1330
spark提交代码的两种方式：Standalone、Yarn。
Spark on Yarn(client和cluster模式,spark-shell 和 spark-submit 的区别,WorldCount实现与理解)
Maverick_曲流觞的博客
04-17 1301
Spark on Yarn，两种模式client，cluster，spark-shell 和 spark-submit 的区别的理解 WorldCount实现，IDEA本地实现，On Yarn 实现，WorldCount图解
spark-yarn提交流程
weixin_48960305的博客
10-20 773
spark的yarn-client提交流程 1. 在client端启动Driver进程，初始化作业，解析程序，初始化两个DAGScheduler，TaskScheduler. -- 初始化作业： 判断路径是否存在，权限校验等 -- DAGScheduler将程序的执行流程解析成DAG图，并划分阶段，根据阶段内的分区初始化Task -- TaskScheduler接收Task，等待分配Task给executor 2. Driver会向ResourceManager,申请资源，想要启
java提交spark任务到yarn平台的配置讲解共9页.pdf.zip
10-28
Java提交Spark任务到YARN平台是一项常见的大数据处理操作，它结合了Java的编程能力和Spark的高性能计算框架，以及Hadoop的资源管理系统YARN。在这个过程中，开发者需要理解多个关键概念和配置步骤，以便有效地调度和...
java提交spark任务到yarn平台的配置讲解共9页
10-30
在Spark生态系统中，Java作为广泛使用的编程语言...总的来说，Java提交Spark任务到YARN平台涉及环境配置、代码编写、任务打包和提交等多个步骤。理解并熟练掌握这些步骤对于开发和运行大规模分布式Spark应用至关重要。
spark yarn 提交流程
文报的博客
12-09 1921
1.Client向RM提交请求,上传jar包到HDFS上 2.RM在集群中选择一个NM,在其上启动AppMaster，在AppMaster中实例化SparkContext(Driver) 3.AppMaster向RM注册应用程序并申请资源。RM监控AppMaster的状态直到AppMaster结束。 4.AppMaster申请到资源后，与NM通信在Container中启动Executor进程 5.Executor向driver反向注册，申请任务 6.Driver对应用进行解析，最后将Task发送到Exe..
spring boot整合spark，基于yarn运行提交spark任务 spark on yarn
qq_41587243的博客
12-31 9721
springboot整理spark，基于yarn提交job任务
Spark-Yarn两种提交方式(client、cluster)
oJueQiang123456的博客
03-21 2161
前提： 安装并启动hdfs和yarn。 修改conf/spark-env.sh，添加： export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop #hadoop配置文件 如果需要连接hive，需先启动hive服务(node1服务器)，并且在conf目录下创建hive-site.xml <configuration> <prop...
yarn的提交流程和spark在yarn的提交流程
qq_42575907的博客
04-21 2183
yarn的提交流程 1.用户向 YARN 提交一个应用程序，向RM申请启动ApplicationMaster， RM 为这个应用程序分配第一个 Container，并与之对应的 NM 通讯， 要求 它在这个 Container 中启动应用程序 ApplicationMaster。 2.ApplicationMaster 向 RM 注册，然后拆分为内部各个子任务， AM 采用轮询的方式向 RM 申请和领取资源。 3.RM 为 AM 分配资源，以 Container 形式返回。 4.AM 申请到资源后，便与之对
Spark在Yarn集群的两种提交模式
liutao3233的博客
11-27 2009
spark on yarn
spark系列-应用篇之通过yarn api提交Spark任务
马各马它
08-23 9329
前言 在工作中，大部使用的都是hadoop和spark的shell命令，或者通过java或者scala编写代码。最近工作涉及到通过yarn api处理spark任务，感觉yarn的api还是挺全面的，但是调用时需要传入很多参数，而且会出现一些诡异的问题。虽然最终使用livy来提交任务，但是通过yarn api提交任务可以帮助使用者更好的理解yarn，而且使用yarn查询任务还是不错的。至于liv...
Spark 任务提交流程说明
Small_Ran的博客
07-02 5410
本篇主要阐述 Spark 任务提交的流程，其主要目的在于通过了解 Spark 任务提交可以清楚大概的流程，并知道每一步是做什么；当遇到问题可以快速的知道是什么环节或者哪一步骤出现了问题，及时定位到问题并解决。目前Spark官方支持五中集群管理模式，分别是 Standalone、Yarn、Mesoes、Kubernetes、Amazon EC2 等。本篇文章主要阐述笔者平时经常使用的 Standalone 与 Yarn 集群管理模式。..................
Spark源码之任务提交流程
weixin_46429290的博客
06-04 918
执行脚本提交任务，实际是启动一个 SparkSubmit 的 JVM 进程；SparkSubmit 类中的 main 方法反射调用 YarnClusterApplication 的 main 方法；YarnClusterApplication 创建 Yarn 客户端，然后向 Yarn 服务器发送执行指令：bin/java ApplicationMaster；Yarn 框架收到指令后会在指定的 NM 中启动 ApplicationMaster；ApplicationMaster 启动 Driver 线程，执
Spark On Yarn 的两种模式
Pluto_k的博客
12-05 437
在Spark StandLone模式中，一个 Worker 只能运行一个 Application 所属的一个 Executor，而不同的 Application 的 Executor 可以运行在一台 Worker 上。 Spark On Yarn 每个Executor作为YARN容器（container）运行，Spark可以使得多个Tasks在同一个容器（container）里运行。 Yarn可以自由选择Executor的数量。 Spark On Yarn Cluster Sp..
Docker+Spark-on-Yarn集群搭建与可视化教程
本文档详细介绍了如何基于Docker技术搭建Spark-on-YARN的大数据集群，并实现可视化管理。首先，从整体上介绍大数据集群部署的基本概念，指出集群构建的核心是利用Docker创建虚拟化的容器环境，通过weave网络工具实现...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值