it小奋

原创 QUARTZ基于SPARK LAUNCHER 驱动SPARK离线作业

场景:不同业务下输出了若干Spark的离线任务，原有的方式我们是基于Linux的CRON任务来驱动，不好进行监管、日志不好收集、服务不集中、难于管理、不好配置、资源调度不灵活。SparkLauncher 提供了编程方式提交Spark应用的方式提交Spark应用程序，可以结合Springboot、Quartz等技术来管理Spark任务的提交行为。 SparkLauncher API http:/...