MapReduce课程设计 好友推荐功能

目录

一、项目要求

二、程序需求

2 .1需求

2 .2数据

三、程序内容

3.1在IDEA 建立新模块

3.2 配置pom.xml

3.2.1在pom.xml中添加jar包

3.2.2在pom.xml里引入打包插件

3.3编写FriendsRecommend

3.4编写FriendsRecommendMapper

3.5编写FriendsRecommendReduce

四、程序打包

 五、程序测试

5.1 创建目录

5.2分布式文件系统上传测试数据

5.3 上传程序 

5.4执行程序

5.5查看程序

---

一、项目要求

• 互为推荐关系
  • 非好友的两个人之间存在相同好友则互为推荐关系
  • 朋友圈两个非好友的人，存在共同好友人数越多，越值得推荐
  • 存在一个共同好友，值为1；存在多个值累加 

二、程序需求

2 .1需求

• 程序要求，给每个人推荐可能认识的人
  • 互为推荐关系值越高，越值得推荐
  • 每个用户，推荐值越高的可能认识的人排在前面  

2 .2数据

• 数据使用空格分割
• 每行是一个用户以及其对应的好友
• 每行的第一列名字是用户的名字，后面的是其对应的好友

friend.text

xiaoming laowang renhua linzhiling
laowang xiaoming fengjie
renhua xiaoming ligang fengjie
linzhiling xiaoming ligang fengjie guomeimei
ligang renhua fengjie linzhiling
guomeimei fengjie linzhiling
fengjie renhua laowang linzhiling guomeimei

三、程序内容

3.1在IDEA 建立新模块

创建Java项目：

分别创建FriendsRecommend、FriendsRecommendMapper、FriendsRecommendReduce

3.2 配置pom.xml

3.2.1在pom.xml中添加jar包

<dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.9.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
            <version>2.9.2</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>RELEASE</version>
            <scope>compile</scope>
        </dependency>
    </dependencies>

3.2.2在pom.xml里引入打包插件

    <