Spark submit 提交任务（四）

最新推荐文章于 2023-07-01 09:08:02 发布
最新推荐文章于 2023-07-01 09:08:02 发布
阅读量1.1k 收藏 1
点赞数
分类专栏： 大数据 # Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rivendong/article/details/107185217
版权

文章目录

Spark基于应用作业的操作

Spark框架可借助spark-submit来提交一个编写好的Job应用到集群，从而完成Spark应用的分析和处理，这通常是生产场景中使用的一种操作方式。

spark-submit --class org.apache.spark.examples.JavaSparkPi --master spark://master002:7077 ../examples/jars/spark-examples_2.11-2.4.3.jar 1

在这里插入图片描述
在这里插入图片描述
注释：

  1. –class 参数用于指定提交的JAR包中的运行主类
  2. 最后一个数字1代表运行的slices数量（即并行度），每一个slice都将启动一个Task来运行，每一个Task任务对应一个JVM进程
  3. .jar 是提交到Spark集群的Job作业打包JAR，这与Hadoop提交作业的方式是相同的

Spark操作的基础命令与开发工具介绍

  1. 在Spark的安装目录下的bin目录中有以下两个运行命令
  • Spark-submit：该命令用于提交Spark的Job应用，通常用于测试
  • Spark-shell：Spark交互式命令行工具，通常用于生产环境
  1. 开发Spark应用可使用IDEA或Eclipse
RivenDong
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark-submit
03-14
hdp spark
Spark 作业提交流程源码分析
最新发布
bigdatakenan的博客
10-20 572
因为我们的环境是yarn-cluster环境，YarnClusterApplication继承了SparkApplication，所以上一步启动SparkApplication就会启动YarnClusterApplication，我们接下来看一下它的start方法,该方法中new了一个client对象后并调用它的run方法。这个方法中调用了submitApplication方法，返回一个appId,后面是对appId的相关判断和操作，所以下面我们可以看看submitApplication方法做了那些操作。
Spark系列之Spark启动与基础使用
luoyepiaoxue2014的博客
11-28 6514
Spark系列之Spark启动与基础使用
【Spark】spark-submit作业提交及参数设定
发现问题，并解决问题，批判性思维
10-29 1万+
随着 application 的增加，需要不断安装新的包，而且不同 application 可能存在版本问题，这对于 client 模式来说或许还可以接受，但 cluster 模式肯定不行的，如果集群很大，装环境会很麻烦。在 client 模式下，Driver 就找在 Client 端，可以把 client 端的资源分发，而 cluster 模式下，Driver 可在集群任一节点，该节点是没有资源的。client：在客户端上启动driver，这样逻辑运算在client上执行，任务执行在cluster上。
spark-submit 命令使用详解
XnCSD的博客
09-06 2万+
spark-submit 命令使用详解 spark-submit 用户打包 Spark 应用程序并部署到 Spark 支持的集群管理气上，命令语法如下： spark-submit [options] <python file> [app arguments] app arguments 是传递给应用程序的参数，常用的命令行参数如下所示： –master: 设置主节点 URL 的参数...
spark：spark-submit 提交任务及参数说明（yarn）
不花的花和尚的博客
02-02 1万+
spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行。 1. 例子 一个最简单的例子，部署 spark standalone 模式后，提交到本地执行。 ./bin/spark-submit \ --master spark://localhost:7077 \ examples/src/main/python/pi.py 如果...
大数据Spark YarnCluster模式源码分析——提交任务2（手把手看源码）
01-07
上一篇博文，我们看了在Yarn Cluster模式下，从Spark-submit提交任务开始，到最后启动了ExecutorBackend线程，也就是进行到了图中的第9步。 上一篇博文地址：...
Spark实验：Standalone模式安装部署（带答案）1
08-03
1. 解压Spark安装包 2. 配置Spark环境变量 2. 修改 spark-env.sh 文件，完成以下设置： 1. 设置运行master进程的节点， e
Spark常用命令
01-07
1.提交任务 hdfs dfs -put SpeakerBigData-1.0-SNAPSHOT.jar /spark/hadoop/my_jars/ 2.提交依赖 3.执行任务 /data/software/spark-2.2.1/bin/spark-submit –class com.anker.eufy.device.DeviceRePurchase –...
sbt-spark-ec2-plugin:用于提交 Spark 作业的 Sbt 插件
06-13
它允许您按需创建集群并将您的任务从您的计算机提交到远程 EC2 集群。 与 spark-submit 不同，它允许您部署到远程集群。 为此，它使用 Amazon EMR 设置集群，并将作业作为自定义 EMR 步骤提交。 警告：此库处于早期...
【持续更新】Spark Submit命令 配置参数详解
weixin_42151880的博客
11-10 5634
spark submit 参数
Spark三种模式搭建
sparky的博客
11-02 860
文章目录启动命令命令行工具退出本地模式虚拟机中执行打包程序独立部署（Standalone）模式 启动命令 bin/spark-shell 启动之后 ip地址:4040访问spark 命令行工具 在解压缩文件夹下的 data 目录中，添加 word.txt 文件。在命令行工具中执行如下代码指 令（和 IDEA 中代码简化版一致） sc.textFile("data/word.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
Spark之spark-submit详解
边看边学
12-14 4977
spark-submit命令 查看 spark-submit 命令帮助： [hadoop@master root]$ spark-submit Usage: spark-submit [options] <app jar | python file | R file> [app arguments] Usage: spark-submit --kill [submission ID]...
spark提交任务命令
weixin_44280356的博客
10-21 2532
Spark submit spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行。 spark 提交到 yarn 执行的例子如下。 spark-submit --master yarn --executor-memory 20G --executor-cores 2 --driver-memory...
spark中spark-submit提交样例及参数说明
爱折腾的小土豆的博客
07-01 2964
当我们使用像Yarn这样的集群管理器运行spark应用程序时，会有几个守护进程在后台运行，如NameNode，Secondary NameNode，DataNode，JobTracker和TaskTracker等。这是一种很有前景的部署模式。5.如果资源不变，你的RDD只有2个分区，那么同一时刻只有2个task运行，其余18个核空转，造成资源浪费。上面涉及到Spark的许多部署模式，究竟哪种模式好这个很难说，需要根据你的需求，如果你只是测试Spark Application，你可以选择local模式。
Spark提交任务
别人笑我太疯癫，我笑他人看不穿。
11-02 3672
Spark_Submit脚本参数 Spark-submit脚本提交任务时最简易的命令格式如下： ./bin/spark-submit \ --master spark://localhost:7077 \ 任务包 任务参数 而实际开发中用的一般是如下的格式 ./bin/spark-submit \ --master yarn \ --deploy-mode cluster \ --driver-memory 1g \ --executor-memory 1g \ --executor-cores 11
平台搭建---Spark提交应用程序---Spark Submit提交应用程序及yarn
热门推荐
01-19 2万+
本部分来源，也可以到spark官网查看英文版。 使用spark-submit时，应用程序的jar包以及通过—jars选项包含的任意jar文件都会被自动传到集群中。spark-submit --class --master --jars Spark根目录的bin目录下spark-submit脚本用于在集群上启动应用程序，它通过统一接口使用Spark所支持的所有集群管理器，因此无需特殊配置每一个
【Spark】（六）任务提交(Spark Submit)
qianchun22的博客
11-16 1209
Spark 任务的提交 spark-submit的一般格式如下： bin/spark-submit [options] <app jar | python file> [app options] [options] 是要传给spark-submit 的标记列表。你可以运行spark-submit --help 列出所有可以接收的标记 <app jar | python File> 表示包含应用入口的JAR 包或Python 脚本。 [app options] 是传给你的应用的选项。
pyspark入门 | spark-submit 提交pyspark任务
03-16
要提交Pyspark任务，需要使用spark-submit命令，并指定Python文件的路径和其他参数。例如，要提交名为my_pyspark.py的Pyspark任务，可以使用以下命令： ``` spark-submit my_pyspark.py --master yarn --deploy-...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值