Hadoop 3.1.1 运行自带的 wordcount 示例

我们这里用自带的示例程序来运行wordcount,从而来演示Hadoop的功能。
/home/cndba/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar

导入测试文件:

[http://www.cndba.cn@hadoopmaster hadoop]$ ls
bin  dfs  etc  include  lib  libexec  LICENSE.txt  logs  NOTICE.txt  README.txt  sbin  share  tmp  var
[http://www.cndba.cn@hadoopmaster hadoop]$ hdfs dfs -put LICENSE.txt /dave
[http://www.cndba.cn@hadoopmaster hadoop]$ 
[http://www.cndba.cn@hadoopmaster hadoop]$ hdfs dfs -ls /
Found 3 items
drwxr-xr-x   - cndba supergroup          0 2019-01-23 23:16 /dave
drwxr-xr-x   - cndba supergroup          0 2019-01-23 21:33 /oracle
drwxr-xr-x   - cndba supergroup          0 2019-01-23 22:36 /system
[http://www.cndba.cn@hadoopmaster hadoop]$ hdfs dfs -ls -R /
drwxr-xr-x   - cndba supergroup          0 2019-01-23 23:16 /dave
-rw-r--r--   2 cndba supergroup     147144 2019-01-23 23:16 /dave/LICENSE.txt
-rw-r--r--   2 cndba supergroup          0 2019-01-23 21:51 /dave/www.cndba.cn.txt
drwxr-xr-x   - cndba supergroup          0 2019-01-23 21:33 /oracle
drwxr-xr-x   - cndba supergroup          0 2019-01-23 21:33 /oracle/mysql
drwxr-xr-x   - cndba supergroup          0 2019-01-23 22:36 /system

示例的jar包在如下目录:https://www.cndba.cn/dave/article/3260

https://www.cndba.cn/dave/article/3260

[http://www.cndba.cn@hadoopmaster mapreduce]$ pwd
/home/cndba/hadoop/share/hadoop/mapreduce

执行Hadoop MR程序:https://www.cndba.cn/dave/article/3260

https://www.cndba.cn/dave/article/3260

[http://www.cndba.cn@hadoopmaster mapreduce]$ hadoop jar hadoop-mapreduce-examples-3.1.1.jar wordcount /dave/LICENSE.txt output
2019-01-23 23:55:14,527 INFO client.RMProxy: Connecting to ResourceManager at hadoopmaster/192.168.20.80:8032
2019-01-23 23:55:14,944 INFO mapreduce.JobResourceUploader: Disabling Erasure Coding for path: /tmp/hadoop-yarn/staging/cndba/.staging/job_1548242934753_0003
2019-01-23 23:55:15,344 INFO input.FileInputFormat: Total input files to process : 1
2019-01-23 23:55:15,461 INFO mapreduce.JobSubmitter: number of splits:1
2019-01-23 23:55:15,538 INFO Configuration.deprecation: yarn.resourcemanager.system-metrics-publisher.enabled is
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值