【工作笔记】- maven-shade-plugin打包合并META-INF/services

最新推荐文章于 2024-08-13 14:05:39 发布
最新推荐文章于 2024-08-13 14:05:39 发布
阅读量3.3k 收藏 5
点赞数 2
分类专栏： Maven 文章标签： maven java 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/RL_LEEE/article/details/128134800
版权

今天在项目终于到一个问题，我写了一个简单的Flink-SQL的Demo工程，只有一个主类：

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;

public class SqlMockTask {
    public static void main(String[] args) throws Exception{
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);
        
        tableEnv.executeSql("CREATE TABLE Orders_Table (\n" +
                "    order_number BIGINT,\n" +
                "    price        DECIMAL(32,2),\n" +
                "    buyer        ROW<first_name STRING, last_name STRING>,\n" +
                "    order_time   TIMESTAMP(3)\n" +
                ") WITH (\n" +
                "  'connector' = 'datagen',\n" +
                "  'rows-per-second' = '1'" +
                ")");

        tableEnv.executeSql("CREATE TABLE Print_Table (\n" +
                "    order_number BIGINT,\n" +
                "    price        DECIMAL(32,2),\n" +
                "    buyer        ROW<first_name STRING, last_name STRING>,\n" +
                "    order_time   TIMESTAMP(3)\n" +
                ") WITH (\n" +
                "  'connector' = 'print'\n" +
                ")");

        tableEnv.executeSql("INSERT INTO Print_Table SELECT * FROM Orders_Table");

        env.execute();
    }
}

POM文件是这样的

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.chinaums.dss</groupId>
    <artifactId>flink-mock</artifactId>
    <version>1.0-SNAPSHOT</version>

	<properties>
		<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
		<java.version>1.8</java.version>
		<maven.compiler.source>${java.version}</maven.compiler.source>
		<maven.compiler.target>${java.version}</maven.compiler.target>
		<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
		<project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
		<flink.version>1.16.0</flink.version>
		<slf4j.version>1.7.15</slf4j.version>
		<log4j.version>2.12.1</log4j.version>
		<fastjson.version>1.2.83</fastjson.version>
	</properties>

	<dependencies>
		<!-- flink start-->
		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-table-planner_2.12</artifactId>
			<version>${flink.version}</version>
		</dependency>
		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-table-api-java-bridge</artifactId>
			<version>${flink.version}</version>
		</dependency>
		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-table-api-java</artifactId>
			<version>${flink.version}</version>
		</dependency>
		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-clients</artifactId>
			<version>${flink.version}</version>
		</dependency>
		<!-- flink end-->
		<dependency>
			<groupId>org.projectlombok</groupId>
			<artifactId>lombok</artifactId>
			<version>RELEASE</version>
			<scope>provided</scope>
		</dependency>
	</dependencies>
	<!-- 指定maven编译方式为jdk1.8版本 -->
	<profiles>
		<profile>
			<id>prod</id>
			<activation>
				<activeByDefault>true</activeByDefault>
				<jdk>1.8</jdk>
			</activation>
			<properties>
				<maven.compiler.source>1.8</maven.compiler.source>
				<maven.compiler.target>1.8</maven.compiler.target>
				<maven.compiler.compilerVersion>1.8</maven.compiler.compilerVersion>
			</properties>
		</profile>
	</profiles>

	<build>
		<plugins>
			<plugin>
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-shade-plugin</artifactId>
				<executions>
					<execution>
						<phase>package</phase>
						<goals>
							<goal>shade</goal>
						</goals>
						<configuration>
							<transformers>
								<transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
									<manifestEntries>
										<Main-Class>SqlMockTask</Main-Class>
									</manifestEntries>
								</transformer>
							</transformers>
							<filters>
								<filter>
									<artifact>*:*</artifact>
									<excludes>
										<exclude>META-INF/*.SF</exclude>
										<exclude>META-INF/*.DSA</exclude>
										<exclude>META-INF/*.RSA</exclude>
									</excludes>
								</filter>
							</filters>
						</configuration>
					</execution>
				</executions>
			</plugin>
		</plugins>
		<resources>
			<resource>
				<directory>src/main/java</directory>
				<includes>
					<include>**/*.xml</include>
				</includes>
				<filtering>true</filtering>
			</resource>
			<resource>
				<directory>src/main/resources</directory>
				<includes>
					<include>**/*.*</include>
				</includes>
			</resource>
		</resources>
	</build>
</project>

打包后生成一个可执行文件flink-mock-1.0-SNAPSHOT.jar， 直接拖到终端执行：

java -jar flink-mock-1.0-SNAPSHOT.jar

发现以下报错：

SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
Exception in thread "main" org.apache.flink.table.api.TableException: Could not instantiate the executor. Make sure a planner module is on the classpath
	at org.apache.flink.table.api.bridge.internal.AbstractStreamTableEnvironmentImpl.lookupExecutor(AbstractStreamTableEnvironmentImpl.java:109)
	at org.apache.flink.table.api.bridge.java.internal.StreamTableEnvironmentImpl.create(StreamTableEnvironmentImpl.java:101)
	at org.apache.flink.table.api.bridge.java.StreamTableEnvironment.create(StreamTableEnvironment.java:122)
	at org.apache.flink.table.api.bridge.java.StreamTableEnvironment.create(StreamTableEnvironment.java:94)
	at SqlMockTask.main(SqlMockTask.java:11)
Caused by: org.apache.flink.table.api.ValidationException: Could not find any factories that implement 'org.apache.flink.table.delegation.ExecutorFactory' in the classpath.
	at org.apache.flink.table.factories.FactoryUtil.discoverFactory(FactoryUtil.java:533)
	at org.apache.flink.table.api.bridge.internal.AbstractStreamTableEnvironmentImpl.lookupExecutor(AbstractStreamTableEnvironmentImpl.java:106)
	... 4 more

就是没有找到某些SPI的实现类的意思，这些实现类本来应该是在依赖的Jar中的，而我选择的打包方式是maven-shade，应该所有的依赖Jar都被打进了shade包了，使用反编译软件打开jar包，发现了猫腻：

这个META-INF/services中的org.apache.flink.table.factories.Factory，只有三条词条，而我们项目中不止一个依赖jar有这个SPI定义：

Maven按照POM依赖声明的先后顺序， 只加载了第一个services文件中的内容，后面的两条都被忽略掉了，导致运行报错。

参考Apache Maven Shade Plugin – Resource Transformers

给maven-shade-plugin添加一条配置：

<transformer implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer">
</transformer>

重新编译，再查看META-INF/service中的内容：

之前被忽略掉的services实现类已经都被加上去了 ，再运行jar包， 恢复正常了

马路上开飞机
关注
专栏目录
spring-boot-maven-plugin报红的解决办法
快乐学习
03-04 1万+
在springboot创建的时候，会遇到在pom.xml文件里面的spring-boot-maven-plugin这个依赖爆红没有导进去。粘贴到spring-boot-maven-plugin下面去继承父工程的版本号，然后点击右上角刷新maven就好了。在pom.xml文件找到父工程的版本号，然后复制过去让报红的那个依赖去继承。因为在maven的阿里云仓库里面没有找到这个依赖。二、出现这个问题的原因。
全网详细IDEA安装Maven，解决The plugin org.codehaus.mojo:flatten-maven-plugin:1.5.0 requires Maven version 3.5
念兮为美
12-06 3265
全网超详细的 IDEA 安装Maven，Failed to execute goal org.codehaus.mojo:flatten-maven-plugin:1.5.0:clean (flatten.clean) on project yudao-dependencies: The plugin org.codehaus.mojo:flatten-maven-plugin:1.5.0 requires Maven version 3.5.4 -> [Help 1]
MAVEN打包包含META-INF下面的文件
weixin_34055787的博客
04-16 8287
2019独角兽企业重金招聘Python工程师标准>>> ...
Maven uber-jar（带依赖的打包插件）maven-shade-plugin
Ares5k
05-17 2842
带依赖的打包插件 maven-shade-plugin
maven: maven-shade-plugin
最新发布
玉汝于成
08-13 236
官网：https://maven.apache.org/plugins/maven-shade-plugin/功能：功能类似assembly，但支持依赖包的重命名（避免版本冲突）、配置文件的追加（避免覆盖）等，可用于制作fat-jar。
maven插件maven-shade-plugin打包jar文件使用详解
撸啊撸的博客
02-22 4741
在使用maven打包Java里，除了maven-jar-plugin和maven-assembly-plugin可以打包jar文件外，使用maven-shade-plugin也可以将程序打包成jar文件。maven-shade-plugin插件的功能也很强大，能够进行高度定制化jar的打包规则。在前面的插件介绍中，关于打包jar的插件我们已经介绍了2个，maven-jar-plugin和maven-assembly-plugin，包含今天介绍的，总共有3种方式来打包jar。
Maven3种打包方式之一maven-shade-plugin的使用
m0_67393413的博客
08-20 694
maven-shade-plugin，用来打可执行JAR包，也就是所谓的fat JAR包；maven-jar-plugin，默认的打包插件，用来打普通的project JAR包；maven-assembly-plugin，支持自定义的打包结构，也可以定制依赖项等。
java-maven打包的3种方式（shade、assembly、maven-jar-plugin和maven-dependency-plugin）
qq_40308101的博客
09-28 4913
1、使用maven-shade-plugin插件打包 <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <configuration> <source>8</source> <tar.
maven项目如何打包运行指定java程序(maven-shade-plugin插件的使用)
进击的豌豆的博客
08-23 7256
把整个项目（包含它的依赖）都打包到一个 “uber-jar” 中；shade - 即重命名某些依赖的包。按需选择要添加到最终 jar 包中依赖；重定位 class 文件；生成可执行 jar 包；生成项目资源文件。
Maven中的docker-maven-plugin、dockerfile-maven-plugin插件
北辰
04-16 2057
dockerfile-maven-plugin是一个用于构建和推送Docker镜像的Maven插件。
maven-shade-plugin-3.1.0.jar
11-10
<artifactId>maven-shade-plugin</artifactId> <version>3.1.0</version> <phase>package</phase> <goal>shade</goal> </goals> implementation="org.apache.maven.plugins.shade.resource....
java-Maven打包插件 Assembly 和 Shade 插件的不同之处
qq_40308101的博客
09-28 3970
Maven Assembly Plugin 和 Shade Plugin 都可以用来在构建单一 Jar 包时，将所有 Dependency 打入这个最终生成的 Jar 中去。但是两者在具体的行为上有所不同：Assembly 插件不仅会将 Dependency 中的 Class 文件打入最终的 Jar 包，还会将 Dependency 中的资源文件，诸如 properties 文件打入最终的 Jar 包。当项目和其 Dependency 中有同名的资源文件是，就会发生冲突，项目中的同名文件便不会加入到最终的
Maven的三种打包方式（jar、shade、assembly）
阿甘兄
01-18 1万+
文章目录01 引言02 assembly打包2.1 介绍2.2 使用2.3 字段解析03 jar打包3.1 介绍3.2 使用3.3 字段解析04 shade打包4.1 介绍4.2 使用4.3 字段解析05 文末 01 引言 Maven有三种打包方式，分别为： assembly：自定义的打包结构，也可以定制依赖项等; jar：默认的打包方式，用来打普通的project JAR包； shade：用来打可执行jar包，也就是所谓的fat JAR包。 下面来讲解下这三种的打包方式。 02 assembly打包
Maven打包插件
虾哔哔的博客
01-19 1081
&lt;build&gt; &lt;plugins&gt; &lt;plugin&gt; &lt;groupId&gt;org.apache.maven.plugins&lt;/groupId&gt; &lt;artifactId&gt;maven-compiler-plugin&lt;/artifactId&gt;
【MAVEN】打包插件
帅胖子的博客
11-15 654
1. maven-jar-plugin 作用：打包（jar）插件，设定 MAINFEST .MF文件的参数，比如指定运行的Main class、将依赖的jar包加入classpath中等等，首先我们明确一点的是maven 插件功能：compile、package、deploy…都是在${project.build.directory }/classes 文件路径下，当然测试是在test-class...
【Maven】使用maven-jar、maven-assembly、maven-shade优雅的实现第三方依赖一同打Jar包
墩墩分墩
03-20 1968
- **maven-jar-plugin** maven 默认打包插件【springboot默认使用该方式打包】，用来创建` project jar` - **maven-shade-plugin** 用来打可执行包，executable(fat) jar - **maven-assembly-plugin** 支持`定制化打包方式`，例如 apache 项目的打包方式
“Maven JAR Plugin“和“Maven Shade Plugin“ 打包方式区别？
weixin_44943389的博客
06-28 224
这两种方法都能将项目打包为可执行的JAR文件，但"Maven Shade Plugin"还提供了更多的功能，例如合并依赖项，以便在单个JAR文件中包含所有的依赖。根据你的需求选择适合的方法进行打包。当涉及到Maven项目的JAR打包方式时，"Maven JAR Plugin"和"Maven Shade Plugin"是两种常用的方法。目录下，将生成一个以项目名称命名的JAR文件，可以在命令行中执行该JAR文件。目录下，将生成一个以项目名称命名的JAR文件，可以在命令行中执行该JAR文件。
Maven项目如何将自定义文件添加到META-INF目录下
lvla_juan的博客
12-30 3077
总共两步： 第一步：在src/main/resources（必须是资源文件夹）下创建META-INF文件夹，然后将文件放在META-INF下 第二步： 修改pom.xml,使用maven-jar-plugin插件，不让Maven打包时生成maven自己的描述文件，这样就maven就不会覆盖自定义的文件了 参考链接：https://blog.csdn.net/long_long3/article/details/79716468 ...
探究maven项目的打包方式
热门推荐
阿伟的博客
07-09 2万+
现在都是使用idea中maven插件来打包项目，因此此文章将基于idea中的maven插件打包。打包分为小包和大包两种概念： 小包：只打包我们写的代码，不打包代码依赖的其他jar包。 大包：打包项目本身的代码以及项目所依赖的其他jar包。因此，如果我们的项目代码只需要被别的代码引用，也就是不需要启动类去运行，那么打包成小包即可，如果我们的项目需要独立的运行，需要启动类去运行，那么就需要打包成大包。我们先创建一个maven项目，创建一个启动类，随便引入一个其他依赖。启动类pom文件
No plugin descriptor found at META-INF/maven/plugin.xml
05-27
这个错误通常是因为 Maven 没有正确加载插件的描述文件，也可能是因为插件描述文件缺失或者命名不正确。你可以尝试以下步骤来解决这个问题： 1. 检查插件描述文件是否存在于正确的位置（META-INF/maven/plugin.xml）。 2. 确认 Maven 是否正确加载了插件。你可以在 Maven 的日志中查看插件加载信息。 3. 如果插件描述文件存在，但是 Maven 仍然无法加载插件，可能是插件描述文件的格式不正确。你可以尝试使用 Maven 插件插件来验证插件描述文件的格式是否正确。 4. 如果你正在使用自定义插件，请确保你已经正确地配置了插件的依赖项和版本号。 如果以上步骤都无法解决问题，你可以考虑重新安装 Maven 或者尝试使用其他类似的构建工具来替代 Maven。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值