MapReduce案例-2

好友推荐

需求

该给hadoop推荐哪个间接好友呢？

两个人之间不认识，但是共同好友数越多，推荐的可能性越大

 数据集

tom hello hadoop cat

world hadoop hello hive

cat tom hive

mr hive hello

hive cat hadoop world hello mr

hadoop tom hive world

hello tom world hive mr

A  B C D E F

1. 找到A到B C D E F的共同好友数
   1. A-B NUM1   A-C NUM2   A-D NUM3   A-E NUM4   A-F NUM5
2. 按照共同好友数对B C D E F进行排序
   1. A-E NUM4   A-D NUM3  A-C NUM2   A-F NUM5   A-B NUM1

topN

tom hello hadoop cat

tom-hello 朋友

tom-hadoop  朋友

tom-cat 朋友

hello-hadoop  有共同好友

hello-cat  有共同好友

hadoop-cat  有共同好友

将全部文件遍历处理完毕，然后将所有的hello-hadoop的关系以及hadoop-hello的关系全部找出来，看一共多少个键值对，也就是共同好友数

cat_hadoop      2

cat_hello 2

cat,   hadoop,2    通过cat_hadoop  2知道，可以给cat推荐hadoop，因为共同好友是2

hadoop   cat,2    通过cat_hadoop  2知道，可以给haadoop推荐cat，因为共同好友是2

cat    hello,2

hello    cat,2

二次排序，分组比较器和排序比较器不一样

map：key LongWritable

         value  Text

日期+气温  将value中的指标拿出来组成一个新的key

分组的时候，需要将新的key拆开来比较

需要重写排序比较器/分组比较器

如何做好友推荐：

cat-hello	2
cat-hive	2
cat-world	1
hadoop-mr	1
hello-hive	4
hello-world	3
hive-tom	3
hive-world	4
tom-world	2
cat-hadoop	2
cat-mr	1
hadoop-hello	3
hadoop-hive	3
hadoop-world	3
hello-mr	3
hive-mr	3
mr-tom	1
mr-world	2

设计key

namea-nameb   cofriendnum
给namea推荐nameb

namea-nameb   cofriendnum
namea-namec   cofriendnum
namea-named   cofriendnum
namea-namee   cofriendnum

输入数据来自第一个mapreduce的输出/mr/fof/output
输出：/mr/fof/output1

输入的一个键值对变为两个
cat-hello	2

cat-hello   2   给cat推荐hello
hello-cat   2   给hello推荐cat
分组：namea-nameb    cofriendnum
依据“-”之前的名字进行分组
重写分组比较器

由于需要使用共同好友数倒序排列，所以需要重写排序比较器。
重新设计key
cat-hello-5  5

分区器需要重写，需要保证同一个前缀的人名的需要在一个分区。

mapper

特点

每一行是一条记录

每一条记录第一个名字是其本身

每一条记录第二个以后的名字是其好友

好友之间有可能认识

案例分析

思路：

推荐者与被推荐者一定有一个或多个相同的好友

全局去寻找好友列表中两两关系

去除直接好友

统计两两关系出现次数

API：

map：按好友列表输出两俩关系

reduce：sum两两关系

再设计一个MR

生成详细报表