MapReduce简介

什么是MapReduce

• 定义：MapReduce是一种编程模型，用于高效地进行大规模数据集的离线并行计算，Map指的是计算工作，Reduce指的是聚合工作。
• 准则（Hadoop）：

1. 所有计算分解为map或者reduce任务实现
2. 每个任务处理全部输入数据中的一部分
3. 主要根据输入数据和输出数据定义任务
4. 任务依赖于自己的输入数据，不需要与其它任务通信

• 基本步骤：以统计各个用户总在线时间为例，原始日志文件如下，除了userId和TimeSpent，其它都是无用列

1. 拆解：日志是以行为单位的，各行之间是独立的。这意味着输入文件可以按照任意行数并行处理、独立处理，然后聚合生成相同的结果。现在我们将其切分为4份，分给四台机器。

 

2. Map计算：将map函数写好后交给各个机器，机器会用此函数处理输入，产出结果，结果一般都是键值对集合。