HADOOP实现查找QQ共同好友功能

最新推荐文章于 2022-10-18 16:49:56 发布

槑の少年

最新推荐文章于 2022-10-18 16:49:56 发布

阅读量481

点赞数

文章标签： hadoop

本文链接：https://blog.csdn.net/A_modester/article/details/107771986

版权

HADOOP实现查找QQ共同好友功能

需求：
A:B,C,D,F,E,O
B:A,C,E,K
C:F,A,D,I
D:A,E,F,L
E:B,C,D,M,L
F:A,B,C,D,E,O,M
G:A,C,D,E,F
H:A,C,D,E,O
I:A,O
J:B,O
K:A,C,D
L:D,E,F
M:E,F,G
O:A,H,I,J
求出哪些人互相之间是好友，及他们的共同好友都是谁
比如:
A-B : C,E
A-C : D,F

map中逻辑如下：

/**
 * 入参：
 * A:B,C,D,F,E,O
 * B:A,C,E,K
 * ....
 * ....
 * A出参：
 * A-B:C,D,F,E,O
 * A-C:B,D,F,E,O
 * .....
 * B出参：
 * A-B:C,E,K
 * B-C:A,E,K
 * ...
 * 分析：
 * 1，要找到互为好友的两个人之间的好友是谁，首先找出A的好友有谁，以及除它之外还有谁
 *,2，要使互为好友的两个人在maptask中处理完成之后汇聚到reducetask，就必须使key相同，可以根据hashcode来排顺序
 */
public class QQFriendMapper extends Mapper<LongWritable,Text,Text,Text> {
   
    Text keyText = new Text();
    Text valueText = new Text();
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
   
        String line = value.toString();
        String[] allFriends = line.split(":");
        String userMain = allFriends[0];
        String userOther = allFriends[1];
        System.out.println("userMain======="+userMain);
        System.out.println("userOther======="+userOther);
        String[] friends = userOther.split