hadoop上运行java_原生态在hadoop上运行java程序

第一种:原生态运行jar包

1,利用eclipse编写Map-Reduce方法,一般引入hadoop-core-1.1.2.jar。注意这里eclipse里没有安装hadoop的插件,只是引入其匝包,该eclipse可以安装在windows或者linux中,如果是在windows中安装的,且在其虚拟机安装的linux,可以通过共享文件夹来实现传递。

2,编写要测试的数据,如命名为tempdata

3,利用eclipse的export来打包已编写好的,在利用eclipse打包jar的时候,只需要选择src即可,一般只打包程序文件,并且需要选择main class,将该jar放到如/home/hadoop/docum/Test.jar

4,将要分析的数据传到hdfs上

hadoop fs -put /home/hadoop/myhadoopdata/tempdata  ./testdata/

5,开始执行jar

hadoop jar /home/hadoop/Docum/Test.jar  /user/hadoop/temperatur output

这是一种利用jar来运行的。

这里Test.jar在本地,jar没必要上传到hdfs上

参数依次为

本地mapred程序,hdfs的测试数据即输入文件,输出文件夹。

hadoop jar /home/hadoop/Temperature.jar inputpath outputpath

注意:这里可以不需要指定类的名称,而输出的文件夹outputpath不能事先已经存在。

第二种:伪分布式下

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值