我们在做hadoop开发时,都是本地开发测试完成然后打成jar包,放到hadoop集群环境用hadoop jar命令去运行。
以WordCount代码为例,写完之后,发现springboot项目中打好jar包,运行时指定了主类,但是并没有执行WordCount相关的代码,而是运行了springboot的Application类。
这是因为在springboot的jar包的MANIFEST.MF描述文件中,已经指定了jar包运行的main-class和start-class,此时再用hadoop jar命令就无效了
那怎么解决呢,不要用springboot的maven打包插件,直接打包就行。
还有一个问题,就是我们打的jar是简单jar包,里面不含hadoop相关的依赖jar包,那为什么能用hadoop jar跑起来呢,是因为在装有hadoop的服务器上,跑jar包时,classpath被设置为hadoop中含有这些依赖包的路径,用hadoop classpath可以查看