因为公司要完成统计任务,每天都有一些任务要在spark上跑,任务定时调度使用的是azkaban3版本,在提交代码的时候要注意一些问题:
首先是如下代码后面不要加setMaster,否则会报错:
二是如果实行了多线程程序,那么一定要在main线程里面等待全部完成再执行,否则你开启的线程开完你的main线程直接就结束了,我这里使用的是coutdownLatch的方法来保证所有线程任务完成再结束main线程,虽然在java的idea里面执行你不需要写写相关方法,但是提交给spark-yarn必须得考虑。
记录spark-yarn模式下提交自己写的java程序
最新推荐文章于 2023-03-30 20:14:59 发布
本文介绍了在使用Azkaban3版本进行Spark任务调度时需要注意的问题,特别是关于代码中避免使用setMaster以及如何确保多线程程序在main线程中正确同步。通过使用CountDownLatch确保所有线程执行完毕后再结束main线程,保证任务的完整执行。此实践对于Java程序员在提交Spark-Yarn作业时具有重要指导意义。
摘要由CSDN通过智能技术生成