jar打包的一些问题

Hadoop的书写到

The client classpath The user’s client-side classpath set by hadoop jar <jar> is made up of:

1、The job JAR file

2、Any JAR files in the lib directory of the job JAR file, and the classes directory (if present)

3、The classpath defined by HADOOP_CLASSPATH, if set

也就是说由hadoop jar命令行执行的客户端的classpath包含如下几个部分:1任务jar包,任务jar包中lib文件夹,classes路径以及通过设置HADOOP_CLASSPATH设置的值。如果在这些部分都找不到的类就会报错。

书中是通过mvn来打包jar包的,如果用Eclipse自带的导出jar包功能,怎么能把依赖的jar包也打包起来了呢?

https://blog.csdn.net/u011277123/article/details/53316169

https://blog.csdn.net/u013372441/article/details/52502783

https://www.cnblogs.com/qypx520/p/5844993.html

https://blog.csdn.net/waitingbb123/article/details/52304756


以上参考主要给出了两种方法,第一种是打包成jar,但是按照其中的说法,需要在生产的jar包的同目录下新建lib文件夹,并将相应的依赖的jar包放在这个文件夹下才能运行,那这本质上和生成runnable jar方法时选择copy required libararies into a sub-folder next to the generated JAR是一样的,这等于没有将第三方jar包打包起来(实际上在选择打包文件时,即使选择了lib问文件夹打包,在jar运行时也不会去调用这个lib文件夹下的jar),也就是说无法通过配置MAINFEST的方式去调用一个即将生成的jar包当中的文件吗?

第二中是打包成runnable jar,在生成runnable jar时有三个选项,除了上面谈到的,还有就是提取依赖的classes打包以及直接打包以来的jar包,前者就不说了,主要是后者。第二种方式能得到一个可以独立运行的jar包,唯一的缺陷是这些依赖包都存在与打包后的jar包的主路径下并不能手动设置其位置,仔细看了其结构,使用的是eclipse自带的JarRsrLoadar做为主函数入口,然后通过他来调用主函数以及指定引用的jar的位置,这个org包及其中的class是eclipse自动添加,所以好像没什么比较方便的修改办法

https://blog.csdn.net/caiqcong/article/details/7618582

这里用ant的方式把runnable jar生成的三种方式都写了一遍,第三种在其实就是jar包生成的方式。

https://blog.csdn.net/qq804702802/article/details/47838241

用maven好像也是这样,即使能打成独立的包,也不能灵活地配置其他第三方依赖jar包的位置。

这种限制可能和jar 命令有关吧。。。


另外回到Hadoop的介绍,Hadoop jar是应该还会根据jar包中的lib文件去配置classpath的而不是像jar命令一样只根据 MAINFEST.MF中的classpath去配置的,那应该如果打包了lib文件夹下的东西就不需要再拷贝一个lib文件夹,目前没有实践验证,参考https://blog.csdn.net/xie_597328548/article/details/38685209中,作者提到的第二种方法,应该就是打包的时候一起打包lib文件夹下的东西应该就可以里。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值