Spark中Standalone的两种提交模式（Standalone-client模式与Standalone-cluster模式）

最新推荐文章于 2023-03-06 17:49:25 发布
VIP文章 最新推荐文章于 2023-03-06 17:49:25 发布
阅读量2.1k 收藏 4
点赞数
分类专栏： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39131779/article/details/83539608
版权

文章目录


Spark中Standalone有两种提交模式，一个是Standalone-client模式，一个是Standalone-cluster模式。

1.Standalone-client提交任务方式

提交命令：

./spark-submit --master  spark://node01:7077 --class org.apache.spark.examples.SparkPi  ../lib/spark-examples-1.6.
0-hadoop2.6.0.jar 100

解释：–class org.apache.spark.examples.SparkPi main函数

最低0.47元/天 解锁文章
zzx_cs
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Nacos篇五 - Nacos集群（Linux下standalone模式和cluster模式）
qq_32352777的博客
01-20 10万+
Nacos支持三种部署模式 单机模式 - 用于测试和单机试用。 集群模式 - 用于生产环境，确保高可用。 多集群模式 - 用于多数据中心场景。 注：本文已Linux CentOS7系统为讲述如何部署单机模式（standalone）和集群模式（cluster）；（虚拟机使用VMware） 老规矩环境准备 请确保是在环境中安装使用: 64 bit OS Linux/Unix/Mac，推荐使...
Flink Standalone Cluster
weixin_43824520的博客
11-21 633
单机模式部署 下载 wget http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.9.1/flink-1.9.1-bin-scala_2.11.tgz 解压 tar -zxvf flink-1.9.1-bin-scala_2.12.tgz -C /usr/app 不需要进行任何配置，直接使用以下命令就可以启动单机版本的 Flink...
Spark 部署模式DeployMode 【Cilent模式、Cluster模式】
shuyv的博客
05-10 4555
文章目录简介client 模式cluster 模式俩者区别Spark on YARNYARN Client 模式YARN Cluster 模式MAIN函数代码执行补充 简介 Spark Application 提交运行时部署模式 Deploy Mode ，表示的是 Driver Program 运行的地方。要么是提交应用的 Client：client ，要么就是集群中从节点（Standalone：Worker，YARN：NodeManager）：cluster 。 默认值为 client，当在实际的开发环
spark任务提交方式standalone-client和standalone-cluster对比
最新发布
weixin_41745141的博客
03-06 340
spark任务提交方式standalone-client和standalone-cluster对比
spark之Standalone模式部署配置详解
08-29
主要介绍了spark之Standalone模式部署配置详解，小编觉得挺不错的，这里分享给大家，供各位参考。
tyrus-standalone-client-1.13.1.jar
05-04
tyrus-standalone-client-1.13.1.jar
tyrus-standalone-client-1.15.jar
05-04
tyrus-standalone-client-1.15.jar
Spark的安装（Standalone模式，高可用模式，基于Yarn模式）
01-20
spark的Standalone模式安装  一、安装流程 1、将spark-2.2.0-bin-hadoop2.7.tgz 上传到 /usr/local/spark/ 下，然后解压 2、进入到conf中修改名字 改为 .sh 结尾的 3、编辑 spark-env.sh 4、修改slaves 的...
Apache运行模式之standalone和inetd模式介绍
09-15
主要介绍了Apache运行模式之standalone和inetd模式介绍,本文讲解了ServerType这个配置参数,ServerType这个配置选项指定如何运行Apache,需要的朋友可以参考下
Spark-Standalone两种提交方式(client、cluster)
oJueQiang123456的博客
02-24 507
一、概况 spark-submit(提交任务命令) --deploy-mode(提交任务模式) --class(执行文件的包名+类名) ../lib/spark-examples-1.6.0-hadoop2.6.0.jar(打包好的执行文件) 二、client模式(--deploy-mode client) ./spark-submit --master spark://172.16....
Spark的standalone运行模式
不积跬步，无以至千里
12-18 1244
目录 正文 简介 运行流程 总结 正文 spark的集群主要有三种运行模式standalone、yarn、mesos，其中常被使用的是standalone和yarn，本文了解一下什么是standalone运行模式，它的运行流程是怎么样的。 简介 standalone模式，是spark自己实现的，它是一个资源调度框架。这里我们要关注这个框架的三个节点： 1）client 2...
Spark中Standalone的两种提交模式
微信公众号：一颗向上的草莓
05-03 420
Spark中Standalone有两种提交模式，一个是Standalone-client模式，一个是Standalone-cluster模式。 1.Standalone-client提交任务方式 提交命令 ./spark-submit --master spark://node01:7077 --class org.apache.spark.examples.SparkPi ../li...
Flink 3种部署模式、保证高可用的区别/Standalone Cluster/Yarn Cluster /Kubernetes Cluster
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
01-13 2606
1 Standalone Cluster Master-Slave架构，JobManager运行在Master节点，TaskManager运行在Slave节点，与HDFS/Hadoop无关 Active JobManager挂掉时，通过Zookeeper选举多个StandByJobManager成为Active JobManager来保证高可用 2 Yarn Cluster 【一个作业只运行一个JobManager，JobManager挂掉时会通过重启来保证高可用】 2.1 Yarn Ses..
standalone cluster模式提交spark作业
mn_kw的博客
07-23 476
standalone cluster通常用于spark作业部署到生产环境中去使用 因为这种模式，会由master在集群中，某个节点上，来启动driver，然后driver会进行频繁的作业调度 此时driver和集群在一起，那么性能是比较高的 standalone client模式，在spark-submit脚本执行的机器上，会启动driver进程，然后去进行整个作业的调度，通常来说，你的sp...
spark的standalone的cluster模式
fqc的博客
01-02 393
运行起hdfs和spark spark的bin目录下,执行 默认client模式 ./spark-submit --master spark://linux01:7077 --executor-memory 1g --total-executor-cores 4 --class (args(0)) (args(1)) 数据所在位置:hdfs://linux01:8020/wc 输出路径:hdfs://linux01:8020/out args(0)--class 是指定main方法所在全列名,..
spark 笔记(一) stand alone 和yarn-cluster的部分区别
Keep Thinking And Learning
06-17 5596
公司最近的spark集群由原来的standalone迁移到spark on yarn了，在迁移相关的程序时，发现调整还是有一些的，以下分别是两个版本提交的部分shell命令，从命令可以看出其区别，这个区别主要是spark on yarn的工作方式不太一样，造成提交的方式也不太一样。     standalone方式的脚本为: spark-submit --class com.bg.tools
standalone-cluster模式提交任务
qq_36392254的博客
04-13 177

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值