MapReduce课程学习——好友推荐功能实现

最新推荐文章于 2022-09-30 20:23:49 发布

痋

最新推荐文章于 2022-09-30 20:23:49 发布

阅读量1.3k

点赞数

文章标签： mapreduce 学习 hadoop

本文链接：https://blog.csdn.net/qq_53879605/article/details/127122534

版权

本文介绍了使用MapReduce实现好友推荐功能的过程，包括程序要求、项目说明、数据处理、程序实现、代码打包、程序测试及注意事项。通过计算共同好友数量来确定推荐关系值，共同好友越多，推荐值越高。数据以空格分隔，保存在friend.txt中，并上传到HDFS进行处理。

摘要由CSDN通过智能技术生成

一、程序要求

给每个人推荐可能认识的人
互为推荐关系值越高，越值得推荐
每个用户，推荐值越高的可能认识的人排在前面

二、项目说明

互为推荐关系：
存在一个共同好友，值为1，存在多个，值累加
非好友的两个人之间存在相同好友则互为推荐关系
朋友圈两个非好友的人，存在共同好友人数越多，越值得推荐
数字表示他们共有好友数

三、数据

3.1数据准备

xiaoming laowang renhua linzhiling
laowang xiaoming fengjie
renhua xiaoming ligang fengjie
linzhiling xiaoming ligang fengjie guomeimei
ligang renhua fengjie linzhiling
guomeimei fengjie linzhiling
fengjie renhua laowang linzhiling guomeimei

3.2数据说明

• 数据使用空格分割
• 每行是一个用户以及其对应的好友
• 每行的第一列名字是用户的名字，后面的是其对应的好友
• 将数据保存到friend.txt
• 将数据上传到hdfs中

四、程序实现

4.1添加依赖

在pom.xml中添加依赖

<dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.9.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
            <version>2.9.2</version>
            <scope>provided</scope>
        </dependency>
    </dependencies>

4.2程序代码

FriendsRecommendMapper

public class FriendsRecommendMapper extends Mapper<Object, Text,Text, IntWritable> {
   
    Text ikey = new Text();
    IntWritable eval = new IntWritable();
    public void