MapReduce 测试自带实例 wordcount

本文介绍了如何在Hadoop 2.7.6环境下执行MapReduce自带的wordcount示例。首先,在本地创建测试文件a.txt,然后将其上传到HDFS。通过执行`hadoop jar`命令启动WordCount程序,指定输入目录 `/input` 和输出目录 `/output`。在任务执行过程中,可以监控8088端口的Web界面查看进度。最终,检查/output目录获取处理结果。
摘要由CSDN通过智能技术生成

Hadoop版本:2.7.6

Jar程序所在目录:是你解压后hadoop解压目录:

/usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar

 

1.本地创建测试文件:

mkdir /home/hadoop/data

touch a.txt  这里笔者创建了三个txt文件 

vim a.txt  修改文本添加内容

cat a.txtx

2.HDFS上:

hadoop fs -ls /  //查看hdfs上的目录
hadoop fs -mkdir /input  //创建input目录    这里是输出文件必须要有的  也就是我们源数据的存放地
hadoop fs -rm -r /output  //如果有output目录,删除     这个是把结果集输入到这里的  事先不能存在的
hadoop fs -put /home/hadoop/data/*.txt /input  //把测试文本上传到input目录上

//执行程序,WordCount

进入上图路径 输入如下命令启动:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值