java打包jar文件,在hadoop中运行

在eclipse中编写完hadoop程序后,运行无错,使用eclipse自带的打包工具打包jar文件,具体步骤如下:

1、右键要打包的包或者类,export->java中的可运行jar文件Runnable JarFile,然后一直下一步,注意为了不出错,把依赖的包也打包进去,所以后面选择Package required labiries into generated jars,选择你要保存jar的路径,后面加上jar文件的名称。

2、通过命令hadoop jar  yourname.jar  yourMainClass /data/inputfile /data/outputfile,如果你的jar文件中有类有main函数,则不需要写yourMainClass,后面两个参数分别为输入参数,传递给main函数的args数组。

3、查看结果文件

在终端输入下面指令:

bin/hadoop fs -ls hdfsOutput

image

从上图中知道生成了三个文件,我们的结果在"part-r-00000"中。

使用下面指令查看结果输出文件内容

bin/hadoop fs -cat output/part-r-00000

image

或者通过命令bin/hdfs dfs -get 1 2 将master上的输出文件拷贝到本地

其中,1为master上的输出文件,2为要拷贝的本地目录路径

打包jar文件时,也可以使用java -jar命令,具体如下:

java jar -cvf yourname.jar -C bin/ .

-c表示创建新的jar文件,后面是你要打包的class文件的路径.

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值