spark提交任务方式：通过RestSubmissionClientApp提交任务

htht555

已于 2022-02-14 16:51:57 修改

阅读量904

点赞数 1

文章标签： spark 大数据 java hdfs

于 2020-12-25 17:47:06 首次发布

本文链接：https://blog.csdn.net/htht555/article/details/111693681

版权

本文介绍如何在Java项目中利用RestSubmissionClientApp接口来提交Spark任务，并详细阐述了获取任务执行状态的过程。

摘要由CSDN通过智能技术生成

Java项目通过通过RestSubmissionClientApp提交spark任务，并获取执行状态

     SparkConf sparkConf = new SparkConf();
     //配置文件地址
     String[] args = {};
     //设置参数
     sparkConf.setMaster(master)//master地址
                    .setAppName("submitSparkTask" + " " + System.currentTimeMillis())
                    .set("spark.total.executor.cores", )//执行需要的cores
                    .set("spark.submit.deployMode", cluster)//yarn模式
                    .set("spark.jars", )//执行jar地址
                    .set("spark.executor.memory", executorMemory)//执行需要的内存
                    .set("spark.driver.memory", driverMemory)//driver端需要的内存，有时任务会报内存溢出，加大driver端内存就可以
                    .set("spark.executor.extraClassPath", )//引用的其他jar地址
                    .set("spark.driver.extraClassPath", )//引用的其他jar地址
                    .set("spark.driver.supervis