Spark 提交任务时,报: Invalid signature file digest for Manifest main attributes

  今天在自己的电脑上,Ubuntu 14.04 中用Idea + SBT编写Spark测试代码,并打包成jar,上传到Spark集群上,submit时报错:

<a target=_blank href="http://m.blog.csdn.net/blog/dai451954706/50086295#" style="text-decoration: none; color: rgb(0, 0, 0);">    Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes</a>
    于是开始网上查资料,找原因,在http://blog.csdn.net/liuzhoulong/article/details/19073351上看到了原因,但是,他是使用Maven,而我使用SBT,瞬间我就凌乱了,我怎么解决? SBT中怎么使用Maven中的filters和exclude?由于我对SBT不是熟悉,一时不知所措

 后来,继续google寻求帮助,在 https://gist.github.com/hkhamm/88923412992d284580ea  上看到了解决方法:

<a target=_blank href="http://m.blog.csdn.net/blog/dai451954706/50086295#" style="text-decoration: none; color: rgb(0, 0, 0);">  zip -d <jar file name>.jar META-INF/*.RSA META-INF/*.DSA META-INF/*.SF</a>
    即: 在linux下,直接使用zip命令,将打好包的jar文件中的 META-INF/*.RSA META-INF/*.DSA META-INF/*.SF 文件删掉.于是,我抱着试试的心理,执行了一遍,再次向集群提交任务.OK,问没有报错!故在此备忘,也希望能帮助遇到同样问题的同学. 

 总结:此类问题应该是针对maven或者sbt等工具打包的jar程序都普遍存在,本方法也同样适用.


 转载自http://m.blog.csdn.net/blog/dai451954706/50086295

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值