运行内置的示例MapReduce程序代码,都在: $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar
这个文件内。
可以通过 hadoop jar 命令来运行它,提交MapReduce程序到YARN中。 语法:
hadoop jar 程序文件 java类名 [程序参数] ... [程序参数]
打开/export/server/hadoop/share/hadoop/mapreduce,找到一个名称叫做,里面都是示例
一,提交wordcount示例程序
单词计数示例程序的功能很简单:
给定数据输入的路径(HDFS)、给定结果输出的路径(HDFS)
将输入路径内的数据中的单词进行计数,将结果写到输出路径
先自己编写一个还有英语文章的文件wordtest.text
再创建文件夹,上传到HDFS
hadoop fs -mkdir -p /input/wordcount
hadoop fs -mkdir /output
hadoop fs -put wordtest.text /input/wordcount/
自查一下,说明上传成功
然后通过 hadoop jar 命令来运行它,提交MapReduce程序到YARN中。 语法:
hadoop jar 程序文件 java类名 [程序参数] ... [程序参数]
执行如下命令,提交示例MapReduce程序WordCount到YARN中执行
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount hdfs://node1:8020/input hdfs://node1:8020/output/wc
注意:
参数wordcount,表示运行jar包中的单词计数程序(Java Class)
参数1是数据输入路径(hdfs://node1:8020/input/wordcount/)
参数2是结果输出路径(hdfs://node1:8020/output/wc1), 需要确保输出的文件夹不存在
运行结果可以在浏览器看到