MapReduce 编程模型
使用者只需要对Map()和Reduce()进行编程
多个<key,value集合>根据key,每个Key分一个reduce
实例解释:文件词频统计
hdfs处理 文件为数据块
-
框架将hdfs处理的数据块处理为<key(位置),value(每行文本)>的模式
【eg.<0,Hello World> <12, Bye World>】 -
map(2个):
一个block的过程:
1.<key(位置),value(每行文本)>输入到map函数中
【eg.<0,Hello World> <12, Bye World>】
2.map函数对每个<key,value>的value分词<