MapReduce--实现好友推荐

需求：实现用户好友推荐

• 当前有用户关系图，如下所示
  
• 对应的数据如下所示：用户

刘德华	周杰伦
刘德华	刘若英
王祖贤	齐秦
陈升	刘若英
刘若英	周传雄
周杰伦	齐秦
周杰伦	王祖贤

• 请开发MapReduce程序实现基于好友关系的推荐
  • 例如，由于齐秦认识周杰伦、刘德华认识周杰伦，所以向刘德华推荐齐秦，向齐秦推荐刘德华
    • 就会得到结果如下：

齐秦	刘德华
刘德华	齐秦

开发思路

step1：结果长什么样

• 结果有两列，都是人名
• 思路：如果两个用户有共同的好友，就推荐这两个用户认识
  • 将一个用户的所有好友，两两推荐

step2：Map输出的Key是什么

• 按照每个用户进行分组
• 用户

step3：Map输出的value是什么

• value：这个用户的好友

step4：验证

• Map

用户		好友
key		value
刘德华	周杰伦
周杰伦 刘德华
刘德华	刘若英
刘若英 刘德华
王祖贤	齐秦
齐秦 王祖贤	
陈升	刘若英
刘若英 陈升
刘若英	周传雄
周传雄 刘若英	
周杰伦	齐秦
齐秦 周杰伦
周杰伦	王祖贤
王祖贤 周杰伦

• Shuffle：分组，相同用户的好友放在一起

用户			好友列表
刘德华		周杰伦 刘若英
周杰伦 	刘德华 齐秦 王祖贤
刘若英 	刘德华 陈升 周传雄
王祖贤		齐秦 周杰伦
齐秦 		王祖贤 周杰伦
陈升		刘若英
周传雄 	刘若英	

• Reduce
  • 将每个用户的好友列表放入一个自定义的迭代器中
  • 构建两层循环，实现两两推荐
  • Reduce中输入的迭代器参数只能迭代一次

开发实现

Driver类

public class FriendMR extends Configured implements Tool {
​
    //整个程序的封装的 方法：创建、配置、提交
    @Override
    public int run(String[] args) throws Exception {
        //创建
        Job job = Job.getInstance(this.getConf(),"friend");
        job.setJarByClass(FriendMR.class);
        //配置
        TextInputFormat.setInputPaths(job,new Path("datas/friend/friendRelation.txt"));
​
        job.setMapperClass(FriendMapper.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(Text.class);
​
        job.setReducerClass(FriendReduce.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
​
​
        TextOutputFormat.setOutputPath(job,new Path("datas/output/friend1"));
        //提交
        return job.waitForCompletion(true) ? 0:-1;
    }
​
​
    //程序的 入口
    public static void main(String[] args) {
        //调用run方法
        Configuration conf = new Configuration();
        try {
            int status = ToolRunner.run(conf, new FriendMR(), args);
            System.exit(status);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

Mapper类

public class FriendMapper extends Mapper<LongWritable, Text,Text,Text> {
​
    private Text outputKey = new Text();
    private Text outputValue = new Text();
​
​
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        //将每个用户及好友从文件中读取，分割
        String[] relation = value.toString().split("\t");
        //当前读取出来的用户
        String user = relation[0];
        this.outputKey.set(user);
        //该用户的好友
        String friend = relation[1];
        this.outputValue.set(friend);
        //输出该用户有一个好友
        context.write(this.outputKey,this.outputValue);
        //当前上面读取出来的内容是单向关系，而好友关系是双向关系
        context.write(this.outputValue,this.outputKey);
    }
}

Reduce类

public class FriendReduce  extends Reducer<Text,Text,Text,Text> {
​
    private Text outputKey = new Text();
    private Text outputValue = new Text();
    Set<String> sets = new HashSet<>();
​
    @Override
    protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
        //基于该用户的好友列表进行两两输出
        sets.clear();
        //将当前用户的所有好友，放入set集合
        for (Text value : values) {
            sets.add(value.toString());
        }
        //如果你的好友个数大于1个，取好友列表中的两个好友进行推荐
        if(sets.size() > 1){
            for(Iterator<String> i = sets.iterator();i.hasNext();){
                //取列表中的每个用户
                String user1 = i.next();
                //取列表中的每个用户
                for(Iterator<String> j = sets.iterator();j.hasNext();){
                    //取列表中的每个用户
                    String user2 = j.next();
                    //如果用户和好友不相等
                    if(!user1.equals(user2)){
                        this.outputKey.set(user1);
                        this.outputValue.set(user2);
                        context.write(this.outputKey,this.outputValue);
                    }
                }
            }
        }
    }
}