mapreduce中的join

mapreduce常见的join:reduce端的join、map端的join、semi join??

【1】reduce端的join

核心思想：
在map端将来源不同的数据或者有不同用处的数据打标机输出，以便reduce端能

够识别并进行连接关系查找。

适合场景：所有的表都是大表时（几乎所有业务都满足）

优点：解决业务范围较广

缺点：从map端传到reduce端的数据量较大。且有很多的无效数据

大大的增加了传输时间，大大的增加了shuffle过程的耗时(数据多了，分区排序时间也就变长了)。

和连接关系的查询时间。

【2】map端的join:

核心思想：

将小标进行分布式缓存，然后在map端取出缓存的数据来进行连接查询

使用场景：大表和小表同时存在（至少有一个小表存在）

优点:从缓存中读取数据，然后在map端进行关联查找，从而减少map到reduce的数据传输

缺点：只适合有小表的业务需求

 

【3】reduce端的join案例

child parent
张三 王阿姨
张三 张大叔
张张 王阿姨
张张 张大叔
王阿姨 王奶奶
王阿姨 王大爷
张大叔 张奶奶
张大叔 张大爷

需求：
求出祖孙关系
child grantparent
张三 王奶奶
张三 王大爷
张三 张奶奶
张三 张大爷
张张 王奶奶
张张 王大爷
张张 张奶奶
张张 张大爷

所以mysql可以这样写：

select a.child,b.parent as grantparent
from a,b
where a.parent = b.child

 

这是一个表，是一整个文件

思路：一个人既有孩子，又有老人，则老人和孩子之间是孙辈关系

找出这个人有的孩子和老人做一个笛卡尔乘积，就得到通过这个人所有孩子的所有孙辈关系

首先从这个人的角度找他的孩子和父母

如何找？

这个人作为父母要有孩子，孩子用1标记    key:parent value:1-child

这个人作为孩子要有父母，父母用2标