Spark-submit模式yarn-cluster和yarn-client的区别

最新推荐文章于 2023-07-01 09:08:02 发布
最新推荐文章于 2023-07-01 09:08:02 发布
阅读量4.8k 收藏 1
点赞数
分类专栏： spark 文章标签： 调试 spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kongshuchen/article/details/52014297
版权

1.yarn-client用于测试，因为ta的Driver运行在本地客户端，会与yarn集群产生较大的网络通信，从而导致网卡流量激增；它的好处在于直接执行时，在本地可以查看到所有的log，方便调试；
2.yarn-cluster用于生产环境，因为Driver运行在NodeManager，相当于一个ApplicationMaster，没有网卡流量激增的问题；缺点在于调试不方便，本地用spark-submit提交后，看不到log，只能通过yarn application_id这种命令来查看，很麻烦；

kongshuchen
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
关于spark-submit 使用yarn-client客户端提交spark任务的问题
qq_36594677的博客
07-13 1024
rpc连接超时 17/07/13 16:18:48 WARN NettyRpcEndpointRef: Error sending message [message = AMRegisted(enjoyor4,container_e02_1499931395900_0009_01_000001,26009,admin)] in 1 attempts org.apache.spark.rpc.R
Yarn源码剖析（二） --- spark-submit
weixin_42642341的博客
08-10 1986
spark-submit 前言 上文Yarn源码剖析（一） --- RM与NM服务启动以及心跳通信介绍了yarn是如何启动的，本文将介绍在yarn正常启动后，任务是如何通过spark-submit提交到yarn上的。 spark-submit脚本 1. 先来观察一下任务提交时的spark-submit脚本中各个参数的含义（并没列举所有，只列举了关键的几个参数） /spark/bin/s...
SparkSubmit到YarnClient入门
古笑来的博客
03-21 761
Spark-Submit分析 https://www.cnblogs.com/liangjf/p/8134645.html 抛开spark-submit脚本提交spark程序 https://blog.csdn.net/yhb315279058/article/details/51713309 使用JAVA代码实现编程式提交Spark任务 https://blog.csdn.net/gx30441...
spark-submit 提交yarn-client yarn-cluster两种模式的差别
阿正的博客
09-04 2702
spark-submit提交给yarn的两种方式总结与区分： spark-submit提交给yarn有两种方式， 1为yarn-cluster, 2为yarn-client 两种方式的区别 yarn-client主要是用于测试，因为driver运行在本地客户端，负责调度application，会与yarn集群产生大量的网络通信，会导致网卡流量激增！！好处在于直接执行时，本地可以看到所有的lo...
Spark Yarn 提交流程
stupidTomA的博客
02-14 237
spark-submit --class wordcount --master spark://aml168:7077 --driver-memory 800M --executor-memory 600M -...
Spark的Yarn模式
01-20
在Yarn模式下，Spark有两种运行模式：`yarn-client`和`yarn-cluster`。 1. `yarn-client`模式：在这种模式下，Driver程序运行在提交任务的客户端上，通常是一个交互式的终端或开发环境。客户端负责与YARN的...
(word完整版)windows下非submit-方式运行spark-on-yarn(CDH集群).doc
10-24
- 虽然不使用`spark-submit`命令，但在IDEA中，可以通过模拟`spark-submit`的参数来提交应用，比如设置`--master yarn-cluster`或`--master yarn-client`，以及相关的配置选项，如`--num-executors`、`--executor-...
spark-submit工具参数说明.pdf
最新发布
07-04
还可以选择`yarn-cluster`或`yarn-client`模式来决定Driver程序是在集群内部还是客户端运行。 2. **--deploy-mode DEPLOY_MODE**：定义Driver程序的运行位置。`client`模式下，Driver在提交应用的工作节点上运行；`...
spark-client:用于执行Spark作业的独立模块
05-16
下面是一个简单的Java示例，展示了如何使用SparkSubmit提交一个Java作业： ```java import org.apache.spark.launcher.SparkLauncher; public class SparkJobSubmitter { public static void main(String[] args)...
Spark&Yarn手动安装指南
02-16
2. 提交Spark任务：使用spark-submit命令提交Spark任务，例如：spark-submit --master yarn --class org.apache.spark.examples.SparkPi --deploy-mode cluster spark-examples-1.6.1-hadoop2.6.0.jar 200。...
提交spark yarn-cluster与yarn-client模式的致命区别
u013289115的博客
05-15 3655
一、组件版本二、提交方式三、运行原理四、分析过程五、致命区别六、总结 一、组件版本 调度系统：DolphinScheduler1.2.1 spark版本：2.3.2 二、提交方式 spark在submit脚本里提交job的时候，经常会有这样的警告 Warning: Master yarn-cluster is deprecated since 2.0. Please use master "yarn" with specified deploy mode instead. 这是因为你用了yarn-cl.
Yarn-Cluster模式下Spark程序执行大解密（一）
weixin_43620695的博客
06-30 405
我们向Yarn集群提交Spark计算程序后，各节点是如何通力协作完成作业的，中间发生了什么神奇的事儿，该系列文章将带您一探究竟。
YARN Cluster模式
qq_43193797的博客
04-25 719
（1）执行脚本提交任务，实际是启动一个SparkSubmit的JVM进程； （2）SparkSubmit类中的main方法反射调用Client的main方法； （3）Client创建Yarn客户端，然后向Yarn发送执行指令：bin/java ApplicationMaster； （4）Yarn框架收到指令后会在指定的NM中启动ApplicationMaster； （5）A...
【Spark】使用spark-submit部署应用，Spark Application 运行的两种方式Client和Cluster
晚风中的自由
11-24 704
Spark为各种集群管理器提供了统一的工具来提交作业，这个工具是spark-submit。 如果在调用spark-submit时除了脚本或JAR包的名字之外没有其他的参数，那么这个Spark应用只会在本地执行。当我们希望将应用提交到Spark独立集群上的时候，可以将集群的地址和希望启动的每个执行器进程的大小作为附加标记提供。 --master标记指定要连接的集群URL； spark-su...
Spark之yarn-client与yarn-cluster
qq_34382453的博客
12-25 2176
摘要：   spark有两种方式运行在yarn上，一种是yarn-client客户端模式，一种是yarn-cluster模式。两种模式有一定的不同点。 一、Application Master   为了更好的理解这两种模式的区别先了解下Yarn的Application Master概念。在Yarn中，每个application都有一个Application Master进程，它是Appliacti...
spark中spark-submit提交样例及参数说明
爱折腾的小土豆的博客
07-01 4191
当我们使用像Yarn这样的集群管理器运行spark应用程序时，会有几个守护进程在后台运行，如NameNode，Secondary NameNode，DataNode，JobTracker和TaskTracker等。这是一种很有前景的部署模式。5.如果资源不变，你的RDD只有2个分区，那么同一时刻只有2个task运行，其余18个核空转，造成资源浪费。上面涉及到Spark的许多部署模式，究竟哪种模式好这个很难说，需要根据你的需求，如果你只是测试Spark Application，你可以选择local模式。
Spark部署模式、任务提交
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
07-20 1385
Spark部署模式与任务提交 一、作业提交 1.1 spark-submit Spark 所有模式均使用 spark-submit 命令提交作业，其格式如下： ./bin/spark-submit \ --class <main-class> \ # 应用程序主入口类 --master <mast...
Spark:Yarn-cluster和Yarn-client区别与联系
sanmu007it的博客
02-17 2822
 摘要       我们都知道Spark支持在yarn上运行，但是Spark on yarn有分为两种模式yarn-cluster和yarn-client，它们究竟有什么区别与联系？阅读完本文，你将了解。 问题导读 1.Spark在YARN中有几种模式？ 2.Yarn Cluster模式，Driver程序在YARN中运行，应用的运行结果在什么地方可以查看？ 3.由cli
【持续更新】Spark Submit命令 配置参数详解
weixin_42151880的博客
11-10 5808
spark submit 参数
cdh6.3.2 spark-submit 提交作业到 yarn
06-28
其中，`--class` 参数指定主类，`--master yarn` 表示使用 YARN 集群作为 Spark 的资源管理器，`--deploy-mode client` 表示客户端模式， `--num-executors`、`--executor-memory` 和 `--executor-cores` 分别是设定...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值