Spark如何提交job

最新推荐文章于 2023-02-01 23:01:46 发布
最新推荐文章于 2023-02-01 23:01:46 发布
阅读量534 收藏 2
点赞数
分类专栏： bigdata 文章标签： spark-submit spark yarn client/cluster
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sonia_liss/article/details/95318567
版权
spark提交job方式
standalone方式
  1. client 模式
  2. cluster模式
yarn方式
  1. client模式
    完整体提交job语句：
spark-submit --master yarn 
--deploy-mode client 
--executor-memory 2G 
--executor-cores 1 
--class org.apache.spark.examples.SparkPi 
/opt/cloudera/parcels/CDH/lib/spark/examples/jars/spark-examples_2.11-2.4.0-cdh6.2.0.jar  100

若集群指定默认提交方式则无需指定-- deploy-mode
直接：

  1. cluster模式
spark-submit --master yarn 
--deploy-mode cluster 
--executor-memory 2G 
--executor-cores 1 
--class org.apache.spark.examples.SparkPi 
/opt/cloudera/parcels/CDH/lib/spark/examples/jars/spark-examples_2.11-2.4.0-cdh6.2.0.jar  100
sonia_liss
关注
专栏目录
spark job gc log
03-30
spark job gc log
Spark部署模式与作业提交
wenqi
06-01 880
Spark部署模式及作业提交
Spark08: Spark Job的三种提交模式
最新发布
anglemanyi的博客
02-01 1062
这种方式主要用于测试，查看日志方便一些，部分日志会直接打印到控制台上面，因为driver进程运行在本地客户端，就是提交Spark任务的那个客户端机器，driver负责调度job，会与yarn集群产生大量的通信，一般情况下Spark客户端机器和Hadoop集群的机器是无法内网通信，只能通过外网，这样在大量通信的情况下会影响通信效率，并且当我们执行一些action操作的时候数据也会返回给driver端，driver端机器的配置一般都不高，可能会导致内存溢出等问题。基于Spark自己的standalone集群。
Spark：Job的三种提交模式
简单随风的博客
09-03 474
第一种，standalone模式，基于Spark自己的standalone集群。 指定–master spark://bigdata01:7077 第二种，是基于YARN的client模式。 指定–master yarn --deploy-mode client 这种方式主要用于测试，查看日志方便一些，部分日志会直接打印到控制台上面，因为driver进程运行在本地客户端，就是提交Spark任务的那个客户端机器，driver负责调度job，会与yarn集群产生大量的通信，一般情况下Spark客户端机器和Ha.
Spark提交任务的命令
nuc2015的博客
08-28 4269
bin/spark-submit --master spark://master.hadoop:7077,slave1.hadoop:7077 --executor-memory 512mb --total-executor-cores 4 --class nuc.sw.test.ScalaWordCount /root/spark-1.0.jar hdfs://master.hadoop:90...
Spark-submit提交任务到集群
热门推荐
06-19 7万+
1 IDEA 打包 示例代码参考AMPCamp2015之SparkSQL，开发环境使用idea。首先需要将程序打包成jar 选择project structure --》artifacts ，由于集群已经有了运行依赖的jar包，打包时可以将这些jar包排除出去，以减小打包后的jar包的大小。 点击ok，然后选择build --》build artifacts，
spark-job-server Build程序包
10-17
Spark JobServer 是一个开源项目，用于管理和运行 Spark 作业，为开发者提供了 RESTful API 来交互式地提交和管理 Spark 作业。在这个“spark-job-server Build程序包”中，我们看到的是通过 sbt（Scala Build Tool...
spark job jar with depends
12-08
spark job jar with depends
spark-jobserver安装文档
09-06
spark-jobserver安装文档
spark-jobserver：适用于Apache Spark的REST作业服务器
02-05
spark-jobserver提供了一个RESTful接口，用于提交和管理作业，jar和作业上下文。 此存储库包含完整的Spark作业服务器项目，包括单元测试和部署脚本。 它最初始于 ，但现在是主要的开发仓库。 其他有用的链接：，， ...
Spark提交命令和参数调优
从一点一滴做起
05-08 6356
参数意义和参考值： 1.num-executors 线程数：一般设置在50-100之间，必须设置，不然默认启动的executor非常少，不能充分利用集群资源，运行速度慢 2.executor-memory 线程内存：参考值4g-8g,num-executor乘以executor-memory不能超过队列最大内存，申请的资源最好不要超过最大内存的1/3-1/2 3.executor-cores...
spark job提交执行流程
Nickkun的博客
12-05 559
standalone 集群启动后worker向master注册信息， 通过spark-submit提交任务时，在任务提交节点或Client启动driver， 在driver创建并初始化sparkContext对象，包含DAGScheduler和TaskScheduler，TaskScheduler与Master节点通讯申请注册Application，Master节点接收到Application的注册请求后，通过资源调度算法，在自己的集群的worker上启动Executor进程；启动的Executor也会反向
Spark 任务提交流程说明
Small_Ran的博客
07-02 5587
本篇主要阐述 Spark 任务提交的流程，其主要目的在于通过了解 Spark 任务提交可以清楚大概的流程，并知道每一步是做什么；当遇到问题可以快速的知道是什么环节或者哪一步骤出现了问题，及时定位到问题并解决。目前Spark官方支持五中集群管理模式，分别是 Standalone、Yarn、Mesoes、Kubernetes、Amazon EC2 等。本篇文章主要阐述笔者平时经常使用的 Standalone 与 Yarn 集群管理模式。..................
spark提交job任务，源码分步骤拆解
qq_34803501的博客
05-02 348
spark任务详解流程分步骤拆解详细流程提交任务DAG图创建计算task运行的最佳位置taskset创建taskSet执行 流程 spark客户端提交job 通过反射创建driver进程 driver创建sparkContext对象 初始化sparkContext过程中，构建DAGScheduler和TaskScheduler TaskScheduler根据后台进程去连接Master向Maste...
Spark任务提交底层原理
djph26741的博客
11-07 275
Driver的任务提交过程 1、Driver程序的代码运行到action操作，触发了SparkContext的runJob方法。2、SparkContext调用DAGScheduler的runJob函数。3、DAGScheduler把Job划分stage，然后把stage转化为相应的Tasks，把Tasks交给TaskScheduler。4、通过TaskScheduler把Task...
spark入门之三 spark job提交
追赶者的博客
01-28 1499
spark job提交过程
Spark job提交过程
cjlion的专栏
06-30 2449
本文基于spark2.111. 前言1.1 基本概念RDD关于RDD已经有很多文章了，可以参考一下理解Spark的核心RDD依赖依赖分为窄依赖和宽依赖，下图描述了两种依赖(图片出自spark窄依赖和宽依赖)20160913233559680.jpeg从途中可以看出，窄依赖中，每一个上游RDD中的分区只会被一个下游分区依赖。而宽依赖上游RDD中的分区则可能被多个下游分区依赖。宽依赖往往意味者shuf...
Spark 触发Job提交
大数据技术分享
12-04 422
Spark 触发Job提交 更多资源 github: https://github.com/opensourceteams/spark-scala-maven youtube 视频说明 Spark 触发Job提交(youtube视频) : https://youtu.be/X49RIqz2AjM 客户端源码 github: https://github.com/opensourcetea...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值