部署spring boot项目到spark上

先说一下开发环境大概情况：

IDE：IntelliJ IDEA

使用spring boot和gradle进行项目的构建

jdk版本 1.8，这里注意一下，开发环境打jar包时的jdk版本要和spark配置里的jdk的版本一致。

步骤

1、完成coding后，把当前module打成jar包，具体可参考  这篇文章，自行修改build.gradle打包。

成功后从目录build/libs/${module_name}.jar下取出${module_name}.jar放到部署了spark的机器上。

2、对于spring boot的项目，它的启动类一般是org.springframework.boot.loader.JarLauncher。具体可以打开${module_name}.jar查看META-INF目录下的MANIFEST.MF文件，Main-Class这一项后面的值即为启动class。这里要记下。

3、在部署了spark的机器上，在${module_name}.jar包所在的目录下新建一个start.sh文件。（这个jar包也可以放在HDFS上，我这里是放在了本地）。编辑start.sh文件如下

#!/bin/bash

spark-submit --master yarn \
    --num-executors 1 \
    --executor-memory 2G \
    --driver-memory 2G \
    --executor-cores 2 \
    --total-