Spark任务提交 第1关：spark-submit提交

最新推荐文章于 2025-04-10 17:34:48 发布
最新推荐文章于 2025-04-10 17:34:48 发布
阅读量3k 收藏 6
点赞数 2
分类专栏： Educoder hadoop 文章标签： spark 大数据 scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_61604164/article/details/128671049
版权
本篇博客主要介绍了如何使用spark-submit提交Spark任务，包括理解相关参数、提交程序到集群运行的步骤，以及一个计算圆周率的示例。通过观看配套视频《spark-submit提交》和按照编程要求补充代码，读者可以掌握Spark任务的提交过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

相关知识

为了完成本关任务，你需要掌握：1.了解spark-submit的参数。2.学会提交Spark程序在集群运行。

课程视频《spark-submit提交》

spark-submit参数

参 数 介 绍
--master 提交到哪里执行，如 standalone，local，yarn，mesos等
--name  应用程序的名称
--class 应用程序的主类
--deploy-mode  Driver 程序运行的地方，client 或者 cluster，默认是client
--driver-memory  Driver内存，默认 1G
--executor-memory 每个executor的内存，默认是1G

使用格式：

./bin/spark-submit
--class
--master
--deploy-mode
--conf
... # other options
application-jar

计算圆周率


                

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        


    


                



	

		

			

				
					
Educoder中Spark任务提交

				
			

			

				

					weixin_46026136的博客
				

				

					05-13
					
					5651
					
				

			

		

		

			
				
第1关：spark-submit提交


#!/bin/bash

cp -r  Spark/SparkRDD/target/project.jar /root
cd /opt/spark/dist/bin
#********** Begin **********#
./spark-submit --master local --class Student /root/project.jar



#********** End **********#





			
		

	



                

            
              



	

		

			

				
					
Spark任务提交

				
			

			

				

					Junds0的博客
				

				

					12-14
					
					1076
					
				

			

		

		

			
				
deploy-mode	 Driver 程序运行的地方，client 或者 cluster，默认是client。为了完成本关任务，你需要掌握：1.了解spark-submit的参数。./spark-submit --master 本地模式 --class 程序运行的主类名 xxx.jar。–master	提交到哪里执行，如 standalone，local，yarn，mesos等。–executor-memory	每个executor的内存，默认是1G。本关任务：学会将程序提交到集群上执行。

			
		

	



              


  
              

                


	

		

			

				
					
【头歌】Spark任务提交 答案

				
			

			

				

					gjw3037109961的博客
				

				

					07-27
					
					1445
					
				

			

		

		

			
				
Spark任务提交 答案
第1关：spark-submit提交

			
		

	





	

		

			

				
					
头歌：Spark任务提交

				
			

			

				

					weixin_62399938的博客
				

				

					04-29
					
					2632
					
				

			

		

		

			
				
这段脚本首先将 project.jar 复制到 /root 目录下，然后切换到 /opt/spark/dist/bin 目录。在 begin 和 end 之间，使用 spark-submit 命令提交 Spark 程序，其中 --master local 指定了本地模式，--class Student 指定了主类为 Student，最后指定了 jar 包的路径为 /root/project.jar。为了完成本关任务，你需要掌握：1.了解spark-submit的参数。第1关：spark-submit提交。

			
		

	



		

			
		



	

		

			

				
					
Spark源码系列（一）spark-submit提交作业过程

				
			

			

				

					weixin_34138377的博客
				

				

					06-08
					
					519
					
				

			

		

		

			
				
前言
折腾了很久，终于开始学习Spark的源码了，第一篇我打算讲一下Spark作业的提交过程。
 
 
这个是Spark的App运行图，它通过一个Driver来和集群通信，集群负责作业的分配。今天我要讲的是如何创建这个Driver Program的过程。
作业提交方法以及参数
我们先看一下用Spark Submit提交的方法吧，下面是从官方上面摘抄的内容。

# Run on a ...

			
		

	





	

		

			

				
					
Spark-submit提交流程

				
			

			

				

					weixin_41789326的博客
				

				

					03-31
					
					1861
					
				

			

		

		

			
				
Spark-submit提交流程代码层面提交Spark-submit提交资源分配
代码层面提交
1.用户传递参数执行spark-submit.sh脚本，查询SPARK_Home是否设置。如果没有设置先执行find-spark-home文件设置，已经设置传递参数    和org.apache.spark.deploy.SparkSubmit类执行spark-class.sh脚本
2.spark-class.sh中检查spark环境变量、java环境变量、spark的jars包路径，加载load-spark-e

			
		

	





	

		

			

				
					
spark源码-任务提交流程之-1-sparkSubmit

				
			

			

				

					m0_37817767的博客
				

				

					07-21
					
					866
					
				

			

		

		

			
				
spark源码阅读

			
		

	





	

		

			

				
					
Spark-submit

				
			

			

				

					03-14
				

			

		

		

			
				
hdp                                                                                                                                  spark

			
		

	





	

		

			

				
					
spark系列之spark-submit提交spark程序

				
			

			

				

					liu_xue_xue的专栏
				

				

					08-02
					
					2046
					
				

			

		

		

			
				
通过spark-submit提交第一个spark 应用到集群中运行


bin/spark-submit --master spark://node-4:7077,node-5:7077 --class org.apache.spark.examples.SparkPi --executor-memory 2048mb --total-executor-cores 12  --executor-cores 1 examples/jars/spark-examples_2.11-2.2.0.jar 1000


			
		

	





	

		

			

				
					
第一个Spark程序（编码+Spark-submit提交运行）

				
			

			

				

					congliibm的专栏
				

				

					12-23
					
					478
					
				

			

		

		

			
				
[size=xx-large]第一个程序[/size]

将搜狗实验室的日志分析，分析出查询排行榜；
需要先将txt文件传到HDFS上，然后分析；


程序代码：
[code="java"]
package main.scala
import org.apache.spark.{ SparkContext, SparkConf }
import org.apache.spark...

			
		

	





	

		

			

				
					
【Spark】spark-submit作业提交及参数设定

				
			

			

				

					发现问题，并解决问题，批判性思维
				

				

					10-29
					
					1万+
					
				

			

		

		

			
				
随着 application 的增加，需要不断安装新的包，而且不同 application 可能存在版本问题，这对于 client 模式来说或许还可以接受，但 cluster 模式肯定不行的，如果集群很大，装环境会很麻烦。在 client 模式下，Driver 就找在 Client 端，可以把 client 端的资源分发，而 cluster 模式下，Driver 可在集群任一节点，该节点是没有资源的。client：在客户端上启动driver，这样逻辑运算在client上执行，任务执行在cluster上。

			
		

	





	

		

			

				
					
Spark spark-submit 提交应用程序

					
热门推荐

				
			

			

				

					
				

				

					03-24
					
					5万+
					
				

			

		

		

			
				
1、在集群不是特别大，并且没有mapReduce和Spark同时运行的需求的情况下，用Standalone模式效率最高。2、Spark可以在应用间（通过集群管理器）和应用中（如果一个SparkContext中有多项计算任务）进行资源调度。

			
		

	





	

		

			

				
					
【spark-submit】--提交任务

					
最新发布

				
			

			

				

					2401_88076102的博客
				

				

					04-10
					
					544
					
				

			

		

		

			
				
spark-submit 中参数介绍

			
		

	





	

		

			

				
					
【Spark】（六）任务提交(Spark Submit)

				
			

			

				

					qianchun22的博客
				

				

					11-16
					
					1334
					
				

			

		

		

			
				
Spark 任务的提交
spark-submit的一般格式如下：
bin/spark-submit [options] <app jar | python file> [app options]

[options] 是要传给spark-submit 的标记列表。你可以运行spark-submit --help 列出所有可以接收的标记
<app jar | python File> 表示包含应用入口的JAR 包或Python 脚本。
[app options] 是传给你的应用的选项。

			
		

	





	

		

			

				
					
spark中spark-submit提交样例及参数说明

				
			

			

				

					爱折腾的小土豆的博客
				

				

					07-01
					
					5402
					
				

			

		

		

			
				
当我们使用像Yarn这样的集群管理器运行spark应用程序时，会有几个守护进程在后台运行，如NameNode，Secondary NameNode，DataNode，JobTracker和TaskTracker等。这是一种很有前景的部署模式。5.如果资源不变，你的RDD只有2个分区，那么同一时刻只有2个task运行，其余18个核空转，造成资源浪费。上面涉及到Spark的许多部署模式，究竟哪种模式好这个很难说，需要根据你的需求，如果你只是测试Spark Application，你可以选择local模式。

			
		

	





	

		

			

				
					
spark-submit提交(转)

				
			

			

				

					迎接小天使
				

				

					04-24
					
					893
					
				

			

		

		

			
				
文章出处：https://blog.csdn.net/chenjieit619/article/details/53421080
如有不妥之处，欢迎随时留言沟通交流，谢谢~
在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设...

			
		

	





	

		

			

				
					
spark-submit 任务提交过程分析

				
			

			

				

					u013332124的专栏
				

				

					06-11
					
					3946
					
				

			

		

		

			
				
文章目录一、spark-submit脚本分析二、Main类的作用三、SparkSubmit类提交任务的过程如何和ResourceManger建立连接spark任务配置的优先级client模式的真正运行方式
一、spark-submit脚本分析
spark-submit的脚本内容很简单:
# 如果没设置SPARK_HOME的环境变量，调用find-spark-home文件寻找spark-home
i...

			
		

	





	

		

			

				
					
提交Spark应用程序

				
			

			

				

					梁辰兴的博客
				

				

					04-26
					
					1777
					
				

			

		

		

			
				
提交Spark作业后，观察Spark集群管理界面，其中“Running Applications”列表表示当前Spark集群正在计算的作业，执行几秒后，刷新界面，在Completed Applications表单下，可以看到当前应用执行完毕，返回控制台查看输出信息，出现了“Pi is roughly 3.1424157120785603”，说明Pi值已经被计算完毕。除了–master参数外，spark-submit还提供了一些控制资源使用和运行时环境的参数。进入Spark安装目录。

			
		

	





	

		

			

				
					
第1关：spark-submit提交

				
			

			

				

					06-28
				

			

		

		

			
				
### 回答1：
第1关：spark-submit提交

Spark-submit是Spark的一个命令行工具，用于将Spark应用程序提交到集群上运行。使用spark-submit可以方便地将应用程序打包成一个jar包，并将其提交到Spark集群上运行。在使用spark-submit时，需要指定应用程序的主类、jar包的路径、应用程序的参数等信息。

要完成第1关，你需要学会如何使用spark-submit命令将一个简单的Spark应用程序提交到集群上运行。具体来说，你需要完成以下任务：

1. 编写一个简单的Spark应用程序，该程序可以读取一个文本文件，并对其中的单词进行计数。

2. 将该应用程序打包成一个jar包。

3. 使用spark-submit命令将该jar包提交到Spark集群上运行，并查看运行结果。

完成以上任务后，你就可以顺利通过第1关了。   

### 回答2：
第一关是Spark入门的开始，主要是通过spark-submit命令行提交一个Scala或Java程序到Spark集群运行。在开始前需要先安装好Spark和Java，并在环境变量中配置好相关路径。接下来的步骤如下：

1. 编写需提交运行的Scala或Java代码，并打包成jar文件。

2. 打开终端，进入Spark安装目录的bin文件夹。

3. 输入命令spark-submit --class <main-class> --master <spark-master-url> <application-jar> <arguments>，其中需要填入以下参数：
    - <main-class>：包含Spark代码入口函数（main方法）的类的全路径
    - <spark-master-url>：Spark Master节点的url，例如local[*]表示本地模式，spark://master:7077表示从远程Master节点提交
    - <application-jar>：打好包的应用jar文件路径
    - <arguments>：运行应用程序必要的参数

4. 提交命令后，终端会显示运行的结果和日志信息，可以用来调试和查看程序运行情况。

通过第一关的训练，大家可以初步掌握Spark的命令行使用方法，并且了解Spark应用程序的开发和打包流程。对于要进行大规模数据处理和分析的企业和个人来说，这是一个非常重要的基础知识，至关重要。   

### 回答3：
Spark-submit是Spark应用程序的提交工具，可以将应用程序提交到Spark集群并使用Spark的资源，非常适合使用大规模的数据处理和分布式计算。Spark-submit支持的语言有Java, Scala, Python, R四种语言， 不管是本地模式，还是集群模式，都可以通过spark-submit来提交应用程序。

Spark-submit的使用方法非常简单，只需要使用以下命令即可：

```
./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
<application-jar> \
  [application-arguments]
```

其中，主要参数解释如下：

- class：应用程序的主类名
- master：运行的master节点的URL
- deploy-mode：是否在Client模式下运行
- conf：Spark配置选项
- application-jar：应用程序的jar包路径
- application-arguments：应用程序的参数

需要注意的是，提交的应用程序必须包含一个main方法作为入口，并将Spark环境初始化。在应用程序的main方法中，可以通过SparkContext和SparkConf类来配置Spark运行环境，并启动应用程序。

Spark-submit在提交应用程序的过程中，会将jar包和依赖文件上传到集群中，并启动Driver程序。Driver程序负责将任务分发给Executor并协调任务执行过程，并在执行完成后收集结果。

总之，使用Spark-submit可以方便快捷地提交Spark应用程序，并能够高效利用Spark集群资源进行大规模的数据处理和分布式计算。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 3

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值