hadoop环境下wordcount的配置

在root用户下:
1:在本地目录 /home/hadoop/下创建文件夹‘file’: mkdir file
2:在file文件夹下创建两个文本文件file1.txt 和file2.txt,里面的内容可以随便写。
3:进入本地hadoop 用户下: cd /usr/local/hadoop/hadoop-2.7.1

4:在hdfs文件系统下创建输入文件夹
(1):首先创建根目录user: bin/hdfs dfs -mkdir /user

出现上图所示即为创建成功。
(2):创建输入文件夹: bin/hdfs dfs -mkdir /user/input
在这里插入图片描述

出现上图所示即为创建成功。
5:上传本地file文件夹中的文件到hdfs文件系统中:bin/hdfs dfs -put /home/hadoop/file/file*.txt /user/input

出现上图所示即为上传成功。
可以使用命令查看hdfs中输入文件夹中的内容:bin/hdfs dfs -ls /user/input

6:运行(以input为输入目录,output为输出目录,其中output目录会自己创建)
(1):查看已经编译好的WordCount的Jar,即"hadoop-examples-1.0.0.jar",在下面执行命令时记得把路 径写全了,不然会提示找不到该Jar包。

(2):执行命令:hadoop jar /usr/local/hadoop/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /user/input /user/output

此为执行成功。
(3):然后返回本地hadoop目录下查看hdfs文件系统中output目录中的内容:bin/hdfs dfs -ls /user/output

结果在"part-r-00000"中。
(4):查看结果输出内容:bin/hdfs dfs -cat /user/output/part-r-00000

出现词频统计结果证明wordcount执行成功。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值