MapReduce入门小例子

MapReduce入门小例子

实验介绍

A，B，C，D，E 五个人的好友关系如下图所示，其中实线表示互为好友关系。那么，如何获取两个不是好友的两个人之间的好友数，并以此为参考，向用户推荐陌生人呢？

主要通过以下几个步骤实现：

 

　　1.将好友关系分配到两个 Map 进行处理，其中每个 Map 包含 3 条好友关系。对每一条好友关系进行拆分，若 Key 中的两个人为朋友，则记录 value 值为0，否则 value 值为 1。将拆分的结果进行排序，其中（A B）和（B A）作为同一个 key（A B）。

　　2. 分别对两个 Map 处理的记录进行初步合并，若两个记录的 Key 值相同且每条记录的 Value 都不为 0，则 Value 值加 1。

　　3. 通过 Reduce 方式，合并两个 Map 处理的 Combine 结果。

1. 1. 若两个记录的 Key 值相同且每条记录的 Value 都不为 0，则 Value 值加 1。

   2. 将 Value 值为 0 的记录删除。

   3. 获取不为好友的两个用户之间的公共好友数：Key 为两个不为好友的用户，Value 是两个不是好友的用户之间的共同好友数。社交网站或者 APP 可以根据这个数值对不是好友的两个用户进行推荐。

posted on 2017-11-17 15:38 olenji 阅读( ...) 评论( ...) 编辑 收藏

转载于:https://www.cnblogs.com/olenji/p/7851909.html