MapReduce课程设计好友推荐功能

最新推荐文章于 2022-09-30 20:23:49 发布

aiyue5060

最新推荐文章于 2022-09-30 20:23:49 发布

阅读量646

点赞数 2

文章标签： mapreduce java 大数据

本文链接：https://blog.csdn.net/weixin_60315352/article/details/127126059

版权

该博客介绍了MapReduce在好友推荐功能中的应用。通过分析共同好友数量来确定推荐关系，详细阐述了项目需求、原理及实现步骤，包括数据处理、Mapper和Reduce类的编写、程序打包与测试，最后展示了在Hadoop集群上执行并查看结果的过程。

摘要由CSDN通过智能技术生成

MapReduce课程设计好友推荐功能

1.1 项目说明

•互为推荐关系
非好友的两个人之间存在相同好友则互为推荐关系
朋友圈两个非好友的人，存在共同好友人数越多，越值得推荐
存在一个共同好友，值为1；存在多个值累加

1.2 程序需求

1.2.1 需求

•程序要求：
给每个人推荐可能认识的人
互为推荐关系值越高，越值得推荐
每个用户，推荐值越高的可能认识的人排在前面

1.2.2 数据

•数据使用空格分割
•每行是一个用户以及其对应的好友
•每行的第一列名字是用户的名字，后面的是其对应的好友

xiaoming laowang renhua linzhiling
laowang xiaoming fengjie
renhua xiaoming ligang fengjie
linzhiling xiaoming ligang fengjie guomeimei
ligang renhua fengjie linzhiling
guomeimei fengjie linzhiling
fengjie renhua laowang linzhiling guomeimei
在这里插入图片描述

1.3 原理

在这里插入图片描述
•数据切分：把文本中的每一行进行切分。hadoop提供类实现。
•每一行切分出来形成一个split，交给map进行处理，map会把一行数据中的单词以key-value的形式进行输出，发现一个单词就设置一个key。key是单词名称，value是1。
•map把最终的到数据经过整理以后交给不同的reduce进行处理，不同的reduce会收到不同的key-value数据。图中有些reduce收到以B开头的数据，有些reduce收到以C开头的数据。
•reduce会把收到的数据进行合并计算，输出最终的一个结果。

2.1 编码操作

2.1.1 创建项目，包，类

使用工具：IDEA
•创建一个friends-recommend的模块
•创建org.friends.mr包
•创建FriendsRecommend类

在这里插入图片描述

public class FriendsRecommend {
   
    public static void main(String[] args) throws Exception{
   
        //获取虚拟机配置信息
        Configuration configuration = new Configuration();
        //创建Job对象
        Job job = Job.getInstance(configuration);
        job.setJarByClass(FriendsRecommend.class);

        //Map端
        job.setMapperClass(FriendsRecommendMapper.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);
        //combiner组件
//      job.setCombinerClass(FriendsRecommendReduce.class);
        //Reduce端
        job.setReducerClass(FriendsRecommendReduce.class);