Hadoop 自带WordCount 操作步骤

本文介绍了如何利用Hadoop自带的WordCount程序处理文本数据。首先,通过hadoop fs命令上传数据到HDFS,接着将test1.txt文件放入指定目录。然后,使用hadoop jar命令运行WordCount示例,指定输入和输出路径。最后,展示如何通过hadoop dfs命令查看处理后的结果。
摘要由CSDN通过智能技术生成
运行一个wordcount 任务的命令:bin/hadoop jar /usr/hddemo/wordcount.jar 包名.WordCount input output


说明:input 指定的是执行map任务是的数据源所在目录,output 是指定reduce任务 执行完后将结果输出的目录


data在配置文件配完后是不需要见这个目录的
name目录是 执行 hadoop namenode -format 才会生成的目录,也不是我们手动建的;


countworld的基本流程


在linux一个input目录下见两个文件
echo "Hello world Hello me! cwq solo"  >test1.txt
echo " Hello world Hello you! solo"  >test2.txt


hadoop fs -put /input/ /input


bin/hadoop jar /usr/hddemo/wordcount.jar 包名.WordCount input output
2.6以后的版本不用指定类名
bin/hadoop jar /usr/hddemo/wordcount.jar input output


Hadoop自带的运行 wordcount 例子的 jar 包在
/share/hadoop/mapreduce/hadoop-mapreduce-example.jar
用这个包要这样写


hadoop jar /home/yanzefeng/apps/hadoop-2.6.4/share/hadoop/mapreduce/hadoop-mapr
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值