java代码提交spark程序（适用与和前端接口对接等）

java代码提交spark程序（适用与和前端接口对接等）

最近项目需要springboot接口调用触发spark程序提交，并将spark程序运行状态发回前端，需要出一版接口代码。 百度了好多，但是实际测试都有bug，要么提交不上去，要么运行状态发不回去，于是结合百度的代码自己写了一版。
废话不多说，直接上代码：

pom文件：

<dependencies>
	<dependency>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-web</artifactId>
	</dependency>
	<dependency>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-validation</artifactId>
	</dependency>
	<dependency>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-test</artifactId>
		<scope>test</scope>
	</dependency>
	<dependency>
		<groupId>com.alibaba</groupId>
		<artifactId>fastjson</artifactId>
		<version>${fastjson.version}</version>
	</dependency>
	<dependency>
		<groupId>org.apache.httpcomponents</groupId>
		<artifactId>httpclient</artifactId>
		<version>${httpclient.version}</version>
	</dependency>
	<dependency>
		<groupId>org.apache.spark</groupId>
		<artifactId>spark-core_2.11</artifactId>
		<version>${spark.version}</version>
	</dependency>
</dependencies>

Java代码：

try {
    new SparkLauncher()
            .setAppName("xx")			//程序名称
            .setDeployMode("client")		//程序运行模式
            .setAppResource("hdfs://myha01/xx")  //spark包的hdfs路径
            .setMainClass("com.xx.Main")  //spark程序入口
            .setMaster("提交任务模式")  //spark集群、yarn
            .setSparkHome("/xx") //sparkhome
            .setJavaHome("/xx") //javahome
            .setConf("spark.executor.cores", "xx")
            .setConf("spark.executor.memory", "xxG")
            .setConf("spark.num.executor", "xx")
            .setConf("spark.driver.memory", "xxG")
            .setConf("spark.driver.cores", "xx")
            .setVerbose(true)
            .addAppArgs(参数)
            .startApplication(new SparkAppHandle.Listener() {
                @Override
                public void stateChanged(SparkAppHandle sparkAppHandle) {

                    String info = null;
                    String state = sparkAppHandle.getState().toString();
                    if ("CONNECTED".equals(state)) {
                        info = "spark程序连接中......@_@";
                    }
                    if ("SUBMITTED".equals(state)) {
                        info = "spark程序提交中......@_@";
                    }
                    if ("RUNNING".equals(state)) {
                        info = "spark程序运行中......@_@";
                    }
                    if ("FAILED".equals(state)){
                        info =  "spark程序运行失败......@_@";
                    }
                    if ("FINISHED".equals(state)){
                        info =  "spark程序运行结束......@_@" ;
                    }
                    //System.out.println(info);
                    String url = param.getCallbackUrl();
                    JSONObject json = (JSONObject) JSONObject.toJSON(param);
                    json.put(KEY_JSON_MESSAGE, info);
                    HttpUtil.post(url, json.toJSONString());

                }

                @Override
                public void infoChanged(SparkAppHandle sparkAppHandle) {
                    //System.out.println("程序信息改变." + sparkAppHandle.getState().toString());
                }
            });
} catch (IOException e) {
    String url = param.getCallbackUrl();
    JSONObject json = (JSONObject) JSONObject.toJSON(param);
    json.put(KEY_JSON_MESSAGE, "spark程序提交失败......@_@");
    HttpUtil.post(url, json.toJSONString());
    e.printStackTrace();
}

注1：上面程序中，看见好多人写的都是需要额外指定spark conf位置和hadoop conf位置，要是这个接口是发布在spark和hadoop所在集群的节点上，节点配置了spark和hadoop的环境变量的话，是不需要指定的。
注2：在setconf时，其中的key必须以spark.开头，如果有不是spark.开头的配置指定，需要写一个map，在new SparkLauncher(map)中指定
注3：其实new SparkLauncher()返回的也是一个SparkAppHandle 对象，就和listener中的一样，但是如果你把返回或者输出日志写在stateChanged外面（就是这个模块后面），实际测试是不会运行的，不知道什么原理。。
注4：这是在spring boot的环境下进行的，如果你只写一个demo去测试，需要加一句让线程等待的语句，不然程序会直接运行完，不会返回监测状态的

CountDownLatch downLatch = new CountDownLatch(1);
try {
    downLatch.await();
} catch (InterruptedException e) {
    e.printStackTrace();
}

注5： stateChanged方法会在程序运行状态改变时调用，实际测试程序运行失败的情况下调用五次，就是代码中的五种状态，在运行成功的情况下调用四次，没有failed那一次。而infoChanged方法只会在程序提交完成后调用一次。

就这些，希望有这方面需求的小伙伴少走一些弯路，不用再一次次去测试了