使用Maven打jar包没问题，提交集群遇到Invalid signature file digest for Manifest main attributes报错

最新推荐文章于 2022-11-16 22:34:09 发布

weixin_45126820

最新推荐文章于 2022-11-16 22:34:09 发布

阅读量300

点赞数

分类专栏：工具使用文章标签： maven java

本文链接：https://blog.csdn.net/weixin_45126820/article/details/106181170

版权

在尝试将使用Maven打包的Spark简单应用提交到集群时，遇到'Invalid signature file digest for Manifest main attributes'报错。问题根源在于jar包签名冲突，即打包时包含了依赖库的签名文件。通过在pom.xml中配置maven-shade-plugin的filter，排除掉META-INF中的签名文件，成功解决问题。

摘要由CSDN通过智能技术生成

问题描叙：
在学习spark的官方案例时，使用IDEA摹写了简单的代码，尝试打包到集群运行，遇到报错如题。
在IDEA里面代码正常运行，打包的时候也没有报错，就是在集群上提交作业的时候遇到的问题：
如图：
在这里插入图片描述
上网搜，基本上都说时jar包签名导致的问题。大概意思就是说编写的application依赖的jar包已经有签名了，因为我打包的时候连同依赖一起打包了，就是在原来已有签名的jar包上有签了一次名，反正就是不对的。
在这里插入图片描述
比如在工程的libraries里面存放的依赖的META-INF里面就会放置这种签名文件，一般以.SF .RSA .DSA 为后缀的就是签名文件。所以需要在连同依赖打包之前，先排除掉这种类型的文件。
我用的是 maven-shade-plugin 这个插件打包，貌似就会遇到这样问题，需要加入filter标签去掉签名的文件。
pom.xml 中须在如下位置增加如下内容，请看图：
在这里插入图片描述

下面直接把pom文件贴在这里了：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.exec</groupId>
    <artifactId>spark-demo</artifactId>
    <packaging>jar</packaging>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
        <scala.version>2.11.8</scala.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</arti