案例:社交粉丝数据分析--求共同好友
逻辑分析
以下是qq的好友列表数据,冒号前是一个用户,冒号后是该用户的所有好友(数据中的好友关系是单向的)
A:B,C,D,F,E,O
B:A,C,E,K
C:F,A,D,I
D:A,E,F,L
E:B,C,D,M,L
F:A,B,C,D,E,O,M
G:A,C,D,E,F
H:A,C,D,E,O
I:A,O
J:B,O
K:A,C,D
L:D,E,F
M:E,F,G
O:A,H,I,J
求出哪些人两两之间有共同好友,及他俩的共同好友都有谁?
解题思路:
k1: LongWritable; v1: Text
k2: Text, 好友; v2: Text, 用户。 B --> A
k3: Text, 用户列表; v3: Text, 好友。
A-B ==> C,E
A-C ==> D,F
提示:可以使用多个MR来完成
第一个MR:
K2 V2
第一行数据
B A
C A
D A
F A
E A
第二行数据
B:A,C,E,K
A B
C B
E B
K B
C E
C F
C G
C H
C K
注意:如果以每一个好友作为我们的k2 往下发送数据
c好友出现在了哪些用户列表里面
C [A,B,E,F,G,H,K]
reduce端数据数据
用户列表 好友
A-B-E-F-G-H-K- C ==> 输出 第一个mr结束
第二个mr程序
用户列表 好友
A-B-E-F-G-H-K- C
K2 v2
F-D-O-I-H-B-K-G-C- A
E-A-J-F- B
K-A-B-E-F-G-H- C
G-K-C-A-E-L-F-H- D
G-F-M-B-H-A-L-D- E
M-D-L-A-C-G- F
M- G
O- H
C-O- I
O- J
B- K
E-D- L
F-E- M
J-I-H-A-F- O
E-A-J-F- B
G-K-C-A-E-L-F-H- D
K2 v2
A-E B
A-E D
相同key的数据发送到同一个reduce里面去,key合并,value形成一个集合
reduce端接收到的数据
两两用户 所有的共同好友
A-B [C,E]
A-B C-E-
代码实现:
第一步:代码实现
package cn.itcast.demo1.step1;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
i