在IDEA中直接提交Spark任务

最新推荐文章于 2022-06-04 17:42:41 发布
最新推荐文章于 2022-06-04 17:42:41 发布
阅读量2.1k 收藏
点赞数
分类专栏： Spark学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zc19921215/article/details/80848079
版权
如果在本地安装了Spark,那么就不需要在本地启动一个类似tomcat或者jetty的server
如果没有一般会启动一个jetty,否则无法和Spark通信




这里所说的本地提交是指submit到Spark集群计算环境上的job,也就是一个Jar包,

虽然IDEA的方法中拥有main方法,但是不能再IDEA中直接右键main函数来debug运行.因为不是一个独立的可运行的程序,而是运行在Spark环境上的,由另外一个jvm来调用.所以一定要把项目打包成一个jar包,然后才能在IDEA中右键运行

这个调用就如同调试web程序,把程序部署在tomcat上之后,需要以debug的方式启动tomcat才能调试web程序,所以调试Sparkjob的关键是要以debug的方式启动
Spark Job将要跑的JVM


可以打开浏览器在windows上看Spark运行状况,直接输入localhost:8080 每次刷新都会重新提交一次任务
(返回505啥的没问题,因为本身就没有写过界面)

淡定一生2333
关注
专栏目录
flink-spark-submiter:从本地IDEA提交FlinkSpark任务到Yarnk8s集群
04-13
因此，为方便大数据开发人员进行快速开发调试，开发了从本地IDEA提交Flink/Spark任务到集群的工具类。任务提交代码稍加改造后也可以和上层调度系统进行集成，替代脚本模式进行任务提交的方式。 支持Flink yarnPerJob...
IDEA远程调试spark-submit提交的jar
Interest1_wyt的博客
06-12 996
IDEA远程debug spark-submit提交的jar
利用idea对spark程序进行远程提交和调试
yiluohan0307的专栏
04-23 1万+
利用idea对spark程序进行远程提交和调试
IDEA中直接提交Spark任务
淡定一生2333的博客
11-07 1806
记录下如何在Widows下的IDEA中直接提交Spark on yarn任务。由于项目使用的是Spring Boot，这里提交任务指的是在IDEA中启动Spring Boot工程，然后发送一个Rest请求，触发Spark on yarn程序的运行。启动一个Spring Boot工程挺快的，引用两个jar包就搞定了。 正常流程： 1.配置Hadoop环境变量 详见“参考一”或者下...
《IDEA创建Spark工程并submit执行》
乌鸦大大
05-16 850
《windows下IDEA创建Spark工程并提交执行》IDEA创建Spark工程 IDEA创建Spark工程   1、创建时在Scala中选择IDEA项目            2、设置JAVA JDK 和Scala的JDK，其中Project SDK需要通过“New…”设置为JDK的路径；Scala SDK需要通过“Create…”设置为Scala的路径，同时命名项目            ...
Spark的三种提交方式（基于IDEA）
Devin
12-01 577
0、创建了一个Maven工程 将一些暂时无关的文件和文件夹删除掉，主要有 main\java, main\resources 和 test 这三个； 将Scala的框架添加到这个项目中，方法是在左侧栏中的项目名称上右键菜单中点击Add Framework Support…，然后在打开的对话框左侧边栏中，勾选Scala前面的复选框，然后点击确定即可（前提是上文中所述步骤都已正确走通，否则你很有可...
java提交spark任务到yarn平台的配置讲解共9页
11-21
2. 提交任务：在命令行中，使用`spark-submit`工具提交Spark任务到YARN集群： ```bash $ spark-submit \ --class com.example.SubmitToYarn \ --master yarn \ --deploy-mode cluster \ --jars /path/to/your/...
spark课程设计任务
最新发布
07-31
对数据文件data.csv在根据课程设计要求在IDEA中编写Spark程序并打包成jar包，并且将数据文件data.csv上传到HDFS中，提交jar包到Spark集群中运行。 data.csv里面包含餐厅数据，可以用记事本打开查看，主要包含以下13...
idea 新建项目并打包（java，spark）
01-20
在本文中，我们将详细探讨如何使用IntelliJ IDEA（Idea）创建一个新的Java项目，并集成Spark框架进行打包。首先，我们需要了解的是Idea是JetBrains公司开发的一款强大的Java集成开发环境，它支持多种编程语言，包括...
spark部署及提交任务
u012485099的博客
01-19 2537
1.提交格式 spark-submit \ --class com.data.Test \ --master yarn-cluster \ --executor-memory 1G \ --num-executors 8 \ --executor-cores 2 \ --queue test_queue spark-sql \ --queue test_queue \ --deploy-mode client \ --num-executors 10 \ --executor-memory
Spark-submit提交任务到集群
热门推荐
06-19 7万+
1 IDEA 打包 示例代码参考AMPCamp2015之SparkSQL，开发环境使用idea。首先需要将程序打包成jar 选择project structure --》artifacts ，由于集群已经有了运行依赖的jar包，打包时可以将这些jar包排除出去，以减小打包后的jar包的大小。 点击ok，然后选择build --》build artifacts，
一个Spark maven项目打包并使用spark-submit运行
Cheengvho的博客
08-23 8309
项目目录名 countjpgs pom.xml文件（位于项目目录下） countjpgs => src => main => scala => stubs => CountJPGs.scala weblogs文件存放在HDFS的/loudacre目录下，是一个包含各种请求的web日志文件。 pom.xml文件内容： <project xmlns="...
本地提交spark_关于在本地idea当中提交spark代码到远程的错误总结（第二篇）
weixin_32205057的博客
12-23 316
当代码能正常提交到spark集群运行的时候，出现下面的错误:Exception in thread "main"java.lang.OutOfMemoryError: PermGen spaceat java.lang.ClassLoader.defineClass1(Native Method)at java.lang.ClassLoader.defineClass(ClassLoader.ja...
本地IDEA提交Flink/Spark任务到集群的工具
大数据星球-浪尖
11-16 847
作者链接：https://www.jianshu.com/p/ae1919fdf399文章中所述的spark/flink提交任务的github工程：https://github.com/t...
Hadoop环境搭建学习之使用Idea提交Java程序到spark集群(10)
panda_225400的博客
06-04 463
Hadoop Spark HA环境搭建好了，试着创建程序提交到Spark集群执行简单计算统计需求:单词计数 执行步骤： 1、远程取两个文件 2、获取两个文件内的数据 3、将文件内的数据进行扁平化 4、将相同单词进行分组 5、聚合计算每个单词的个数资源列表虚拟机启动Hadoop HA 启动Spark HA编写多个测试数据.txt文件，文件名随意，将文本文件上传至hdfs的/datas目录 以1.txt、2.txt为例 将测试数据传到hdfs的/input/datas目录 hadoop fs -mkdir /
spark程序提交到集群上_Intellij IDEA 开发Saprk程序 —— 04. 将程序提交到Spark集群...
weixin_42526087的博客
01-13 276
一. 提交前的准备：完善代码程序在本机调试成功之后，就要将其提交到Spark集群中运行。在提交之前，对代码进行简单的修改，以便提交时修改运行参数。二. 提交前的准备：生成JAR包1.点击选择菜单栏FileProject StructureArtifacts，打开“Project Sructure”窗口。2.点击“+”“JAR”“From modules with dependecies…”，打开“...
spark提交任务的三种的方法
helloxiaozhe的博客
04-25 8906
spark提交任务的三种的方法 在学习Spark过程中，资料中介绍的提交Spark Job的方式主要有三种： 1、使用spark 自带的spark-submit工具提交任务 通过命令行的方式提交Job,使用spark 自带的spark-submit工具提交，官网和大多数参考资料都是已这种方式提交的，提交命令示例如下： ./spark-submit --class com.learn.spark.SimpleApp --master yarn --deploy-mode client --driver-
IDEA中开发Spark Scala程序的配置与教程
7. **提交Spark应用程序**: 使用`spark-submit`命令是将Spark应用程序部署到集群上的标准方式。你需要指定Master URL（例如，local, yarn, spark://IP:PORT等），应用程序主类，以及其他相关的配置参数。 8. **开发...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值