Hadoop的书写到
The client classpath The user’s client-side classpath set by hadoop jar <jar> is made up of:
1、The job JAR file
2、Any JAR files in the lib directory of the job JAR file, and the classes directory (if present)
3、The classpath defined by HADOOP_CLASSPATH, if set
也就是说由hadoop jar命令行执行的客户端的classpath包含如下几个部分:1任务jar包,任务jar包中lib文件夹,classes路径以及通过设置HADOOP_CLASSPATH设置的值。如果在这些部分都找不到的类就会报错。
书中是通过mvn来打包jar包的,如果用Eclipse自带的导出jar包功能,怎么能把依赖的jar包也打包起来了呢?
https://blog.csdn.net/u011277123/article/details/53316169
https://blog.csdn.net/u013372441/article/details/52502783
https://www.cnblogs.com/qypx520/p/5844993.html
https://blog.csdn.net/waitingbb123/article/details/52304756
以上参考主要给出了两种方法,第一种是打包成jar,但是按照其中的说法,需要在生产的jar包的同目录下新建lib文件夹,并将相应的依赖的jar包放在这个文件夹下才能运行,那这本质上和生成runnable jar方法时选择copy required libararies into a sub-folder next to the generated JAR是一样的,这等于没有将第三方jar包打包起来(实际上在选择打包文件时,即使选择了lib问文件夹打包,在jar运行时也不会去调用这个lib文件夹下的jar),也就是说无法通过配置MAINFEST的方式去调用一个即将生成的jar包当中的文件吗?
第二中是打包成runnable jar,在生成runnable jar时有三个选项,除了上面谈到的,还有就是提取依赖的classes打包以及直接打包以来的jar包,前者就不说了,主要是后者。第二种方式能得到一个可以独立运行的jar包,唯一的缺陷是这些依赖包都存在与打包后的jar包的主路径下并不能手动设置其位置,仔细看了其结构,使用的是eclipse自带的JarRsrLoadar做为主函数入口,然后通过他来调用主函数以及指定引用的jar的位置,这个org包及其中的class是eclipse自动添加,所以好像没什么比较方便的修改办法
https://blog.csdn.net/caiqcong/article/details/7618582
这里用ant的方式把runnable jar生成的三种方式都写了一遍,第三种在其实就是jar包生成的方式。
https://blog.csdn.net/qq804702802/article/details/47838241
用maven好像也是这样,即使能打成独立的包,也不能灵活地配置其他第三方依赖jar包的位置。
这种限制可能和jar 命令有关吧。。。
另外回到Hadoop的介绍,Hadoop jar是应该还会根据jar包中的lib文件去配置classpath的而不是像jar命令一样只根据 MAINFEST.MF中的classpath去配置的,那应该如果打包了lib文件夹下的东西就不需要再拷贝一个lib文件夹,目前没有实践验证,参考https://blog.csdn.net/xie_597328548/article/details/38685209中,作者提到的第二种方法,应该就是打包的时候一起打包lib文件夹下的东西应该就可以里。