hadoop 之MR的join操作

在SQL语句中，我相信大家都使用Join操作，但是今天我来谈谈MapReduce中的join操作是如何进行的。

先来看一下在join的效果

如果对MR熟悉的同学，应该清楚map在把数据处理完之后是会经过shuffle过程的。数据真正到达reduce的是已经被分好类的。那么什么是分好类的呢?

就想上面的表所示，如果我们把基本信息和额外信息作为map输入的内容，那么我们可以得到如下的数据：

---

1 张三 男 175
2 李四 男 182
3 小红 女 165
1 打球 张三丰
3 唱歌 小红红

---

我们在处理的时候以id作为map输出的key，原有的信息作为value。因为shuffle的原因，会将相同的key输入到同一个ReduceTask中去执行

数据会经过如下分类、合并两个过程

---

1 张三 男 175
1 打球 张三丰

2 李四 男 182

3 小红 女 165
3 唱歌 小红红

---

1 {张三 男 175}，{打球 张三丰}

2 {李四 男 182}

3 {小红 女 165}，{唱歌 小红红}

---

最后的数据就是reduce的输入了。这时候reduce只要将key中对应的Iterable内容进行遍历然后字符串拼接的操作即可。
操作结束后reduce的输出就是

1 张三 男 175 打球 张三丰

2 李四 男 182

3 小红 女 165 唱歌 小红红