在IDEA中直接提交Spark任务

最新推荐文章于 2022-06-12 10:12:49 发布
最新推荐文章于 2022-06-12 10:12:49 发布
阅读量2.1k 收藏
点赞数
分类专栏： Spark学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zc19921215/article/details/80848079
版权
如果在本地安装了Spark,那么就不需要在本地启动一个类似tomcat或者jetty的server
如果没有一般会启动一个jetty,否则无法和Spark通信




这里所说的本地提交是指submit到Spark集群计算环境上的job,也就是一个Jar包,

虽然IDEA的方法中拥有main方法,但是不能再IDEA中直接右键main函数来debug运行.因为不是一个独立的可运行的程序,而是运行在Spark环境上的,由另外一个jvm来调用.所以一定要把项目打包成一个jar包,然后才能在IDEA中右键运行

这个调用就如同调试web程序,把程序部署在tomcat上之后,需要以debug的方式启动tomcat才能调试web程序,所以调试Sparkjob的关键是要以debug的方式启动
Spark Job将要跑的JVM


可以打开浏览器在windows上看Spark运行状况,直接输入localhost:8080 每次刷新都会重新提交一次任务
(返回505啥的没问题,因为本身就没有写过界面)

淡定一生2333
关注
专栏目录
使用idea编写spark程序并提交到yarn集群例子
光于前裕于后的博客
03-04 3659
需提前安装jdk、scala 1.创建新项目 2.增加Maven 3.修改pom.xml文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4
【Spark实战系列】idea 里面远程提交 spark 任务到 yarn 集群
JasonLee实时计算
08-17 4048
直接看我的公众号吧不想在复制了: https://mp.weixin.qq.com/s/Rwz5uAI-TfnTBpppsMTfBg 欢迎大家关注我的公众号: 如果有写的不对的地方,欢迎大家指正,如果有什么疑问,可以加QQ群:340297350,更多的Flink和spark的干货可以加入下面的星球 ...
IDEA远程提交运行HDFS的Spark程序
weixin_41008393的博客
01-16 2336
之前提交运行spark程序，都是通过spark-submit提交运行的。 但是能不能再IDEA中就执行submit运行程序呢， 以前用过一种方式，就是通过远程ssh访问(远程ssh可以通过JSch实现)，通过liunx命令去执行，但是这个显然不是我期望的。 我的spark程序都是提交给yarn运行的，如果程序直接与yarn通信，按spark-submit源码中的提交方式去做，是不是也能实现呢。 参...
IDEA中直接提交Spark任务
淡定一生2333的博客
11-07 1806
记录下如何在Widows下的IDEA中直接提交Spark on yarn任务。由于项目使用的是Spring Boot，这里提交任务指的是在IDEA中启动Spring Boot工程，然后发送一个Rest请求，触发Spark on yarn程序的运行。启动一个Spring Boot工程挺快的，引用两个jar包就搞定了。 正常流程： 1.配置Hadoop环境变量 详见“参考一”或者下...
idea打spark jar包并提交到spark集群运行
mn_kw的博客
04-25 3652
打包打包文件：File-->>ProjectStructure -->点击Artificats-->>点击绿色加号 --> 点击JAR-->>选择 From module with dependices  点击Output Layout  看看是否没有第三方jar包，因为你使用spark集群环境，所以你不需要第三方jar包 重新build：Build...
使用Intellij IDEA开发并提交Spark应用到远程Spark集群
热门推荐
Camu7s的专栏
05-06 1万+
使用Intellij IDEA开发Spark应用，并提交到远程Spark集群执行通常我们写了一个spark程序，总是需要将程序打成jar包然后提交到集群执行，这样很麻烦，因此本文想说明通过像在eclipse中远程开发和执行Hadoop Job一样，使用Intellij IDEA开发Spark应用，并能够直接在IDE中提交作业到远程集群去执行，在console中看到输出结果或者各种错误原因。环境与工具
《IDEA创建Spark工程并submit执行》
乌鸦大大
05-16 847
《windows下IDEA创建Spark工程并提交执行》IDEA创建Spark工程 IDEA创建Spark工程   1、创建时在Scala中选择IDEA项目            2、设置JAVA JDK 和Scala的JDK，其中Project SDK需要通过“New…”设置为JDK的路径；Scala SDK需要通过“Create…”设置为Scala的路径，同时命名项目            ...
flink-spark-submiter:从本地IDEA提交FlinkSpark任务到Yarnk8s集群
04-13
因此，为方便大数据开发人员进行快速开发调试，开发了从本地IDEA提交Flink/Spark任务到集群的工具类。任务提交代码稍加改造后也可以和上层调度系统进行集成，替代脚本模式进行任务提交的方式。 支持Flink yarnPerJob...
java提交spark任务到yarn平台的配置讲解共9页
最新发布
11-21
2. 提交任务：在命令行中，使用`spark-submit`工具提交Spark任务到YARN集群： ```bash $ spark-submit \ --class com.example.SubmitToYarn \ --master yarn \ --deploy-mode cluster \ --jars /path/to/your/...
spark通过 big data tools插件中 spark-submit 远程提交任务
yy的博客
03-24 456
概述 公司集群都是容器形式搭建. 本次测试因集群原因重复运行,有失败 有成功. 但是自己虚拟机容器没问题,应该是公司集群问题. 下面操作步骤仅供参考. 1 Big Data Tools 插件 2 开启 spark 容器的sshd 端口是2222(你们可能是22) /usr/sbin/sshd netstat -anp|grep 2222 3 big data tools中 spark-submit配置 添加执行环境 --- 分割线 // .
Hadoop环境搭建学习之使用Idea提交Java程序到spark集群(10)
panda_225400的博客
06-04 461
Hadoop Spark HA环境搭建好了，试着创建程序提交到Spark集群执行简单计算统计需求:单词计数 执行步骤： 1、远程取两个文件 2、获取两个文件内的数据 3、将文件内的数据进行扁平化 4、将相同单词进行分组 5、聚合计算每个单词的个数资源列表虚拟机启动Hadoop HA 启动Spark HA编写多个测试数据.txt文件，文件名随意，将文本文件上传至hdfs的/datas目录 以1.txt、2.txt为例 将测试数据传到hdfs的/input/datas目录 hadoop fs -mkdir /
IDEA本地调试spark任务
liuxilil的专栏
09-09 2364
一、添加插件Scala 二、main方法中config 配置appname和master 本地调试是使用本地idea中编写的代码引入的spark的相关jar包来运行spark程序，将spark程序提交到本地spark（本地并不需要安装Windows版本的spark）运行。下面是获取SparkContext的代码： final SparkConf sparkConf = new Sp...
IDEA远程调试spark-submit提交的jar
Interest1_wyt的博客
06-12 994
IDEA远程debug spark-submit提交的jar
spark程序提交到集群上_Intellij IDEA 开发Saprk程序 —— 04. 将程序提交到Spark集群...
weixin_42526087的博客
01-13 276
一. 提交前的准备：完善代码程序在本机调试成功之后，就要将其提交到Spark集群中运行。在提交之前，对代码进行简单的修改，以便提交时修改运行参数。二. 提交前的准备：生成JAR包1.点击选择菜单栏FileProject StructureArtifacts，打开“Project Sructure”窗口。2.点击“+”“JAR”“From modules with dependecies…”，打开“...
Spark的三种提交方式（基于IDEA）
Devin
12-01 573
0、创建了一个Maven工程 将一些暂时无关的文件和文件夹删除掉，主要有 main\java, main\resources 和 test 这三个； 将Scala的框架添加到这个项目中，方法是在左侧栏中的项目名称上右键菜单中点击Add Framework Support…，然后在打开的对话框左侧边栏中，勾选Scala前面的复选框，然后点击确定即可（前提是上文中所述步骤都已正确走通，否则你很有可...
IDEA 远程提交spark程序
xxd1992的博客
12-25 2482
编写目的 编写此文档的目的是为了在idea上 能够远程提交spark程序到集群中运行，避免上传jar包到linux中，同时也避免了编写相应的spark脚本执行文件。 实现功能 在idea的上编写spark程序，不编写脚本，直接在idea上运行，且程序在spark集群（standalone）上运行。 环境 1、 Spark集群（standalone模式）完全分布式 2、 你的项目工程可以访问hdfs...
利用idea对spark程序进行远程提交和调试
yiluohan0307的专栏
04-23 1万+
利用idea对spark程序进行远程提交和调试
一个Spark maven项目打包并使用spark-submit运行
Cheengvho的博客
08-23 8309
项目目录名 countjpgs pom.xml文件（位于项目目录下） countjpgs => src => main => scala => stubs => CountJPGs.scala weblogs文件存放在HDFS的/loudacre目录下，是一个包含各种请求的web日志文件。 pom.xml文件内容： <project xmlns="...
本地IDEA提交Flink/Spark任务到集群的工具
大数据星球-浪尖
11-16 846
作者链接：https://www.jianshu.com/p/ae1919fdf399文章中所述的spark/flink提交任务的github工程：https://github.com/t...
IDEA中开发Spark Scala程序的配置与教程
7. **提交Spark应用程序**: 使用`spark-submit`命令是将Spark应用程序部署到集群上的标准方式。你需要指定Master URL（例如，local, yarn, spark://IP:PORT等），应用程序主类，以及其他相关的配置参数。 8. **开发...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值