三种方法作为记录:
1)直接调用SparkSubmit的main方法
2)SparkLauncher类的launch方法或者startApplication方法
3)使用RestSubmissionClient的run方法
SparkSubmit提交任务
String[] param = {
"--class", "org.apache.spark.examples.SparkPi",
"--master", "local[2]",
"/bigdata/spark-2.4.6-bin-hadoop2.6/examples/jars/spark-examples_2.11-2.4.6.jar",
};
SparkSubmit.main(param);
System.out.println("任务运行完成。。。。。。。。。");
可见,基本上就是把spark-submit脚本放到了java中执行!
但是要注意:(Rest URL端口是6066)
"--master", "spark://192.168.0.181:6066"
SparkLauncher提交任务
public static void main(String[] args) throws Exception {
HashMap<String, String> envParams = new HashMap<>();
e