MapReduce是一种批处理计算范型，包括Map和Reduce两个阶段。Map函数处理输入键值对，输出中间结果，Reduce函数按key聚合value。在Hadoop等分布式计算系统中，MapReduce涉及数据分片、映射、组合、分区、shuffle、归并和reduce等步骤，适合处理非结构化数据的ETL操作。然而，MapReduce的单机处理效率较低，且复杂任务的转换开发效率不高。
参考原文：
http://code.google.com/intl/zh-CN/edu/parallel/mapreduce-tutorial.html
MapReduce其实是两个分离的阶段：map和reduce。首先看一个简单的例子：
现需要计算1w篇文章中字母‘w’的数量。这些文章以键值对(key/value)的形式存储(表一)：
| DocumentID(key) | DocumentContent(Value) |
|---|---|
| 1 | “This is an article”//假设这篇文章中含有“w”字母5个 |
| 2 | “This is another article”// 含有“w”字母8个 |
| . | “…” |
| . | “…” |
| 10000 | “This is the last article” //含有“w”字母9个 |
下面是一段伪代码：
map(String key, String value):
// key: document ID
// value: document contents
for each word w in value:
EmitIntermediate(w, “1”);
map函数将被应用到每一个键值对。因此第一次调用为map(1, “This is a article”)，最后一次是map(10000, “This is the
最低0.47元/天 解锁文章
140
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
