本文通过一个WordCount案例详细介绍了MapReduce框架处理大数据的基本流程。需求是计算文本中每个单词出现的次数，最终得到各个单词及其对应的计数。文章讨论了偏移量概念、Hadoop的数据类型，并分别解析了Map、Reduce阶段的实现细节以及Driver的配置和运行步骤。
MapReduce框架处理数据的基本流程
WordCount计算
需求：计算每个单词出现的次数
原始数据
zhangsan,lisi,wangwu
zhaoliu,maqi
zhangsan,zhaoliu,wangwu
lisi,wangwu
期望的最终
zhangsan 2
lisi 2
wangwu 3
zhaoliu 2
maqi 1
偏移量
每个字符移动到当前文档的最前面需要移动的字符个数。
hadoop数据类型
java : int long double float boolean string
hadoop : IntWritable LongWritable DoubleWritable FloatWritable BooleanWritable Text
WordCount-Map实现
1、实例一个class 继承Mapper<输入的key的数据类型，输入的value的数据类型，输出的key的数据类型，输出的
value的数据类型，>
2、重写map方法 map(LongWritable key, Text value, Context context)
key: 行首字母的偏移量
value: 一行数据
context：上下文对象
3、根
最低0.47元/天 解锁文章
1680
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
