MapReduce—案例（五）求两两共同好友

最新推荐文章于 2022-01-20 19:29:01 发布

匿名啊啊啊

最新推荐文章于 2022-01-20 19:29:01 发布

阅读量863

点赞数

分类专栏： MapReduce练习文章标签：求两两共同好友 MapReduce

本文链接：https://blog.csdn.net/qq_41851454/article/details/79679311

版权

该博客介绍了一种使用MapReduce解决求两两共同好友问题的方法。通过逆向思维，分为两个步骤：首先找出以特定人为共同好友的所有组合，然后对这些组合进行两两组合，找出所有共同好友。博客内容包括解题思路和相关MapReduce代码实现。

摘要由CSDN通过智能技术生成

题目：

A:B,C,D,F,E,O
B:A,C,E,K
C:F,A,D,I
D:A,E,F,L
E:B,C,D,M,L
F:A,B,C,D,E,O,M
G:A,C,D,E,F
H:A,C,D,E,O
I:A,O
J:B,O
K:A,C,D
L:D,E,F
M:E,F,G
O:A,H,I,J,K

以上是数据：
A:B,C,D,F,E,O
表示：B,C,D,E,F,O是A用户的好友。

1、求所有两两用户之间的共同好友

题意理解：求两两的共同好友，例如C是A的好友，C是B的好友，所有AB的共同好友有C。题目陷阱：I的好友包括A，但是A的好友没有I;

解题思路：采用逆向思维，分两步走：要求两两的共同好友，可以先求出以A为共同好友的人的组合，第二步：将组合好的人，两两组合，求出所有的好友。采用组件jobcontrol将两个MapReduce连接起来

代码：

package practice1;

import java.io.IOException;
import java.util.Arrays;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.jobcontrol.JobControl;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.a