需求
在给定的文本文件中统计输出每一个单词出现的总次数
输入数据
hello hello
hbase spark
world hello
reduce
期望统计出来数据结果
hello 3
hbase 1
spark 1
world 1
reduce 1
需求分析
按照MapReduce编程规范,分别编写Mapper,Reducer,Driver
Mapper中会做以下几点,以输入数据的第一行为例
1)先将每行数据转换成String类型,比如第一行:hello hello
2)根据指定的分隔符(这里为空格)切分单词,如下
hello
hello
3)将单词输出为<单词,1>的形式
Reducer中会做以下几点
1)将汇总的各个key的个数进行累加,最终输出<key,总数>
编程代码
map的实现
package com.my.hdfs;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import o