提交MapReduce程序至YARN运行

运行内置的示例MapReduce程序代码,都在:  $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar

这个文件内。

可以通过 hadoop jar 命令来运行它,提交MapReduce程序到YARN中。 语法:

hadoop jar 程序文件 java类名 [程序参数] ... [程序参数]

打开/export/server/hadoop/share/hadoop/mapreduce,找到一个名称叫做,里面都是示例

一,提交wordcount示例程序

单词计数示例程序的功能很简单:

给定数据输入的路径(HDFS)、给定结果输出的路径(HDFS)

将输入路径内的数据中的单词进行计数,将结果写到输出路径

先自己编写一个还有英语文章的文件wordtest.text

再创建文件夹,上传到HDFS

 hadoop fs -mkdir -p /input/wordcount

 hadoop fs -mkdir /output

 hadoop fs -put wordtest.text /input/wordcount/

自查一下,说明上传成功

然后通过 hadoop jar 命令来运行它,提交MapReduce程序到YARN中。 语法:

hadoop jar 程序文件 java类名 [程序参数] ... [程序参数]

执行如下命令,提交示例MapReduce程序WordCount到YARN中执行

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount hdfs://node1:8020/input hdfs://node1:8020/output/wc 

注意:

参数wordcount,表示运行jar包中的单词计数程序(Java Class)

参数1是数据输入路径(hdfs://node1:8020/input/wordcount/)

参数2是结果输出路径(hdfs://node1:8020/output/wc1), 需要确保输出的文件夹不存在

运行结果可以在浏览器看到

  • 7
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值