Spark任务提交与SpringBoot项目集成

Spark任务提交与SpringBoot项目集成

---

原理

利用官方提供的SparkLauncher java接口来使用java代码提交Spark任务到Spark集群

实现

• 一个SparkPI 的计算demo，并打包成jar
• 新建SpringBoot项目，项目加入spark-core依赖，否则无法找到SparkLuncher

 	<properties>
        <java.version>1.8</java.version>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <sala-version>2.11</sala-version>
        <spark-version>2.4.4</spark-version>
        <scope-type>compile</scope-type>
    </properties>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_${sala-version}</artifactId>
        <version>${spark-version}</version>
        <scope>${scope-type}</scope>
   </dependency>

• 新建个sparkController，内部代码如下：

package com.ly.spark.oneline.controller;

import org.apache.spark.launcher.SparkLauncher;
import org.springframework.web