MapReduce:WordCount实战
mapreduce
map:负责“分”
reduce:负责“合”
wordcount编写记录
Map阶段2个步骤
1.设置InputFormat类,将数据切分为Key-Value(K1和V1)对,输入到第二步
inputformat的子类是textinputformat,去读取原文件,将每一行数据变成键值对
2自定义Map逻辑
将第一步的结果转换成另外的Key-Value (K2和V2)对,输出结果
Shuffle阶段4个步骤
3.对输出的Key-Value对进行分区
4.对不同分区的数据按照相同的 Key
原创
2020-10-07 20:05:55 ·
305 阅读 ·
0 评论