资源调度平台yarn，主从结构，主节点ResourceManager，从节点NodeManager
在home目录下创建一个文件data.txt, 里面随便编辑一些用于测试的语句，然后将文件上传到HDFS上的/input目录下
接下来进入share/hadoop/mapreduce目录，其中有一个叫hadoop-mapreduce-example*****的jar包，里面包含了用java编写的mapreduce程序，我们可以利用jar包中的wordcount用于词频统计，hadoop jar是指将一个mapreduce任务提交到yarn平台上，/input/data.txt 表明输入路径， /output/result01表明输出路径（输出路径不能事先存在，存在的话会报错）
执行命令，看到执行第一句日志信息18/03/03 12:25:00 INFO client.RMProxy: Connecting to ResourceManager at /192.168.145.111:8032， 说明此时任务已经提交到了yarn平台上，其实后台有一个yarn网页版的工具，打开本地的浏览器s输入linux的IP地址：8088可以查看yarn平台上的任务执行情况，上面查看执行过程可以明显看出是按照map和reduce两部分来执行任务
然后查看hdfs上的/output/result01目录下，看到有两个文件，_SUCCESS文件表明的是任务执行的状态，part-r-00000是任务执行的结果，查看文件内容可以看到正确完成了词频的统计
扫一扫
4804
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
