利用gradle shadowjar构建包含依赖的JAR包

最新推荐文章于 2024-08-26 07:58:12 发布

a95473004

最新推荐文章于 2024-08-26 07:58:12 发布

阅读量2.6w

点赞数 5

分类专栏： Spark 文章标签： scala gradle spark

本文链接：https://blog.csdn.net/a95473004/article/details/53886365

版权

本文档介绍了如何使用Gradle的shadow插件来构建一个包含所有依赖的JAR包，特别适用于向SPARK集群提交作业的情况。通过执行`clean shadowJar`命令，可以生成一个不仅包含源码还包含flume和kafka类的JAR文件。要了解更多配置详情，建议查阅shadow官方文档。

摘要由CSDN通过智能技术生成

正常情况下，gradle构建的jar包是不包含依赖的，只包含项目源码。

可是有些情况下我们希望JAR包中也包含相关依赖，譬如说向SPARK集群提交作业的时候，运行JAVA命令的时候。

这篇文件介绍一种方便的构建assemble jar的方法

apply plugin :'java'
apply plugin :'scala'
apply plugin: 'com.github.johnrengelman.shadow'

buildscript {
    repositories {
        jcenter()
    }
    dependencies {
        classpath 'com.github.jengelman.gradle.plugins:shadow:1.2.4'
    }
}

repositories {
    mavenCentral()
}

shadowJar {
   baseName = 'spark-job'
   classifier = null
   version = null
   dependencies {
      include(dependency('org.apache.flume:flume-ng-core:1.7.0'))
  	  include(dependency('org.apache.spark:spark-streaming-kafka-0-10_2.11:2.0.2'))
  	  include(dependency('org.apache.flume:flume-ng-sdk:1.7.0'))
  	  include(dependency('org.apache.kafka:kafka-clients:0.10.1.0'))
   }
}

dependencies {
	compile group: &#