记录spark-yarn模式下提交自己写的java程序

本文介绍了在使用Azkaban3版本进行Spark任务调度时需要注意的问题,特别是关于代码中避免使用setMaster以及如何确保多线程程序在main线程中正确同步。通过使用CountDownLatch确保所有线程执行完毕后再结束main线程,保证任务的完整执行。此实践对于Java程序员在提交Spark-Yarn作业时具有重要指导意义。
摘要由CSDN通过智能技术生成

因为公司要完成统计任务,每天都有一些任务要在spark上跑,任务定时调度使用的是azkaban3版本,在提交代码的时候要注意一些问题:
首先是如下代码后面不要加setMaster,否则会报错:
在这里插入图片描述
二是如果实行了多线程程序,那么一定要在main线程里面等待全部完成再执行,否则你开启的线程开完你的main线程直接就结束了,我这里使用的是coutdownLatch的方法来保证所有线程任务完成再结束main线程,虽然在java的idea里面执行你不需要写写相关方法,但是提交给spark-yarn必须得考虑。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

graceful coding

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值