Hadoop案例之二度人脉与好友推荐

最新推荐文章于 2024-06-20 08:41:52 发布
最新推荐文章于 2024-06-20 08:41:52 发布
阅读量3.6k 收藏 11
点赞数
分类专栏： 大数据 hadoop 文章标签： hadoop mapreduce yarn 二度好友

Hadoop案例之二度人脉与好友推荐

参考：

https://my.oschina.net/u/176897/blog/99761

1.实例描述

社交网站上的各个用户以及用户之间的相互关注可以抽象为一个图。以下图为例：

                                                                     图1

顶点A、B、C到I分别是社交网站的用户，两顶点之间的边表示两顶点代表的用户之间相互关注。那么如何根据用户之间相互关注所构成的图，来向每个用户推荐好友呢？

 

现在我们以上图为例，介绍下如何利用用户之间相互关注所构成的图，来向每个用户推荐好友。首先我们不得不假设的是如果两用户之间相互关注，那么我们认为他们认识或者说是现实中的好友，至少应该认识。假设我们现在需要向用户I推荐好友，我们发现用户I的好友有H、G、C。其中H的好友还有A，G的好友还有F，C的好友还有B、F。那么用户I、H、G、C、A、B、F极有可能是同一个圈子里的人。我们应该把用户A、B、F推荐给用户I认识。进一步的想，用户F跟两位I的好友C、G是好友，而用户A、B都分别只跟一位I的好友是好友，那么相对于A、B来说，F当然更应该推荐给用户I认识。

 

可能你会发现，在上面的分析中，我们使用了用户I的二度人脉作为他的推荐好友，而且我们对用户I的每个二度人脉进行了投票处理，选举出最优推荐。其实，我觉得，二度人脉的结果只能看看某个用户的在社交网站上的人际关系链，而基于投票选举产生的二度人脉才是好友推荐功能中所需要的好友。

 

2.设计思路

我们的输入是deg2friend.txt，保存用户之间相互关注的信息。每行有两个用户ID，以逗号分割，表示这两个用户之间相互关注即认识。

A,B

B,C

C,D

D,E

E,F

F,D

F,C

F,G

G,I

G,H

H,I

I,C

H,A

二度好友的计算需要两轮的MapReduce。第一轮MapReduce的Map中，如果输入是“H，I”，我们的输出是key=H，value=“H，I”跟key=I，value=“H，I”两条结果。前者表示I可以通过H去发现他的二度好友，后者表示H可以通过I去发现他的二度好友。

 

根据第一轮MapReduce的Map，第一轮MapReduce的Reduce 的输入是例如key =I，value={“H，I”、“C，I”、“G，I”} 。其实Reduce 的输入是所有与Key代表的结点相互关注的人。如果H、C、G是与I相互关注的好友，那么H、C、G就可能是二度好友的关系，如果他们之间不是相互关注的。对应最上面的图，H与C是二度好友，G与C是二度好友，但G与H不是二度好友，因为他们是相互关注的。第一轮MapReduce的Reduce的处理就是把相互关注的好友对标记为一度好友（“deg1friend”）并输出，把有可能是二度好友的好友对标记为二度好友（“deg2friend”）并输出。

 

第二轮MapReduce则需要根据第一轮MapReduce的输出，即每个好友对之间是否是一度好友（“deg1friend”），是否有可能是二度好友（“deg2friend”）的关系，确认他们之间是不是真正的二度好友关系。如果他们有deg1friend的标签，那么不可能是二度好友的关系；如果有deg2friend的标签、没有deg1friend的标签，那么他们就是二度好友的关系。另外，特别可以利用的是，某好友对deg2friend标签的个数就是他们成为二度好友的支持数，即他们之间可以通过多少个都相互关注的好友认识。

 

 

3.程序代码

package Hadoop_Deg2friend;

 

import java.io.IOException;

import java.util.Vector;

 

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import org.apache.hadoop.util.GenericOptionsParser;

 

public class Deg2friend {

 

   //map1

   public static class Map1 extends Mapper<Object, Text, Text, Text>

   {

     private Text map1_key = new Text();

     private Text map1_value = new Text();

    

     @Override

     protected void map(Object key, Text value, Context context)

          throws IOException, InterruptedException {

        String[] eachterm = value.toString().split(",");

        if (eachterm.length != 2) {

          return;

        }

       

        if (eachterm[0].compareTo(eachterm[1]) < 0) {

          map1_value.set(eachterm[0] + "\t" + eachterm[1]);

        }

        else if (eachterm[0].compareTo(eachterm[1]) > 0) {

          map1_value.set(eachterm[1] + "\t" + eachterm[0]);

        }

       

        map1_key.set(eachterm[0]);

        context.write(map1_key, map1_value);

       

        map1_key.set(eachterm[1]);

        context.write(map1_key, map1_value);

     }

   }

   //reduce1

   public static class Reduce1 extends Reducer<Text, Text, Text, Text>

   {

     @Override

     protected void reduce(Text key, Iterable<Text> values, Context context)

          throws IOException, InterruptedException {

        Vector<String> hisFriends = new Vector<String>();

       

        for(Text val : values)

        {

          String[] eachterm = val.toString().split("\t");

          if (eachterm[0].equals(key.toString())) {

             hisFriends.add(eachterm[1]);

             context.write(val, new Text("deg1friend"));

          }

          if (eachterm[1].equals(key.toString())) {

             hisFriends.add(eachterm[0]);

             context.write(val, new Text("deg1friend"));

          }

        }

       

        for(int i = 0; i < hisFriends.size(); i++)

        {

          for(int j = 0; j < hisFriends.size(); j++)

          {

             if (hisFriends.elementAt(i).compareTo(hisFriends.elementAt(j)) < 0) {

               Text reduce_key = new Text(hisFriends.elementAt(i)+"\t"+hisFriends.elementAt(j));

               context.write(reduce_key, new Text("deg2friend"));

             }

          }

        }

     }

   }

  

   //map2

   public static class Map2 extends Mapper<Object, Text, Text, Text>

   {

     @Override

     protected void map(Object key, Text value, Context context)

          throws IOException, InterruptedException {

       

        String[] line = value.toString().split("\t");

        if (line.length == 3) {

          Text map2_key = new Text(line[0]+"\t"+line[1]);

          Text map2_value = new Text(line[2]);

          context.write(map2_key, map2_value);

        }

            

     }

   }

  

   //reduce2

   public static class Reduce2 extends Reducer<Text, Text, Text, Text>

   {

     @Override

     protected void reduce(Text key, Iterable<Text> values, Context context)

          throws IOException, InterruptedException {

        boolean isdeg1 = false;

        boolean isdeg2 = false;

        int count = 0;

       

        for(Text val : values)

        {

          if (val.toString().compareTo("deg1friend") == 0) {

             isdeg1 = true;

          }

          if (val.toString().compareTo("deg2friend") == 0) {

             isdeg2 = true;

             count++;

          }

        }

       

        if ((!isdeg1) && isdeg2) {

          context.write(new Text(String.valueOf(count)),key);

        }

     }

   }

   //main

   public static void main(String[] args) throws Exception {

     Configuration conf = new Configuration();

       String[] otherArgs = new GenericOptionsParser(conf,args).getRemainingArgs();

       if (otherArgs.length != 3) {

        System.err.println("Usage:Deg2friend <in> <temp> <out>");

        System.exit(2);

     }

       Job job1 = new Job(conf, "Deg2friend");

       job1.setJarByClass(Deg2friend.class);

       job1.setMapperClass(Map1.class);

       job1.setReducerClass(Reduce1.class);

       job1.setOutputKeyClass(Text.class);

       job1.setOutputValueClass(Text.class);

      

       FileInputFormat.addInputPath(job1, new Path(otherArgs[0]));

       FileOutputFormat.setOutputPath(job1, new Path(otherArgs[1]));

      

       if (job1.waitForCompletion(true)) {

        Job job2 = new Job(conf, "Deg2friend");

        job2.setJarByClass(Deg2friend.class);

        job2.setMapperClass(Map2.class);

        job2.setReducerClass(Reduce2.class);

        job2.setOutputKeyClass(Text.class);

        job2.setOutputValueClass(Text.class);

        FileInputFormat.addInputPath(job2, new Path(otherArgs[1]));

        FileOutputFormat.setOutputPath(job2, new Path(otherArgs[2]));

       

        System.exit(job2.waitForCompletion(true)? 0 : 1);

       

     }

       System.exit(job1.waitForCompletion(true)? 0 : 1);

   }

}

 

 

4. 程序执行

root@node1:/usr/local/hadoop/hadoop-2.5.2/myJar#hadoop jar Deg2friend.jarHadoop_Deg2friend.Deg2friend /usr/local/hadooptempdata/input/deg2 /usr/local/hadooptempdata/temp/deg2/usr/local/hadooptempdata/output/deg2

16/12/30 23:35:36 INFO client.RMProxy: Connectingto ResourceManager at node1/192.168.233.129:8032

16/12/30 23:35:40 INFOinput.FileInputFormat: Total input paths to process : 1

16/12/30 23:35:41 INFOmapreduce.JobSubmitter: number of splits:1

16/12/30 23:35:43 INFOmapreduce.JobSubmitter: Submitting tokens for job: job_1483111826986_0001

16/12/30 23:35:45 INFO impl.YarnClientImpl:Submitted application application_1483111826986_0001

16/12/30 23:35:45 INFO mapreduce.Job: Theurl to track the job: http://node1:8088/proxy/application_1483111826986_0001/

16/12/30 23:35:45 INFO mapreduce.Job:Running job: job_1483111826986_0001

16/12/30 23:36:32 INFO mapreduce.Job: Jobjob_1483111826986_0001 running in uber mode : false

16/12/30 23:36:32 INFO mapreduce.Job:  map 0% reduce 0%

16/12/30 23:37:36 INFO mapreduce.Job:  map 100% reduce 0%

16/12/30 23:38:21 INFO mapreduce.Job:  map 100% reduce 100%

16/12/30 23:38:24 INFO mapreduce.Job: Jobjob_1483111826986_0001 completed successfully

16/12/30 23:38:28 INFO mapreduce.Job:Counters: 49

         FileSystem Counters

                   FILE:Number of bytes read=214

                   FILE:Number of bytes written=197899

                   FILE:Number of read operations=0

                   FILE:Number of large read operations=0

                   FILE:Number of write operations=0

                   HDFS:Number of bytes read=178

                   HDFS:Number of bytes written=795

                   HDFS:Number of read operations=6

                   HDFS:Number of large read operations=0

                   HDFS:Number of write operations=2

         JobCounters

                   Launchedmap tasks=1

                   Launchedreduce tasks=1

                   Data-localmap tasks=1

                   Totaltime spent by all maps in occupied slots (ms)=60503

                   Totaltime spent by all reduces in occupied slots (ms)=38314

                   Totaltime spent by all map tasks (ms)=60503

                   Totaltime spent by all reduce tasks (ms)=38314

                   Totalvcore-seconds taken by all map tasks=60503

                   Totalvcore-seconds taken by all reduce tasks=38314

                   Totalmegabyte-seconds taken by all map tasks=61955072

                   Totalmegabyte-seconds taken by all reduce tasks=39233536

         Map-ReduceFramework

                   Mapinput records=13

                   Mapoutput records=26

                   Mapoutput bytes=156

                   Mapoutput materialized bytes=214

                   Inputsplit bytes=126

                   Combineinput records=0

                   Combineoutput records=0

                   Reduceinput groups=9

                   Reduceshuffle bytes=214

                   Reduceinput records=26

                   Reduceoutput records=53

                   SpilledRecords=52

                   ShuffledMaps =1

                   FailedShuffles=0

                   MergedMap outputs=1

                   GCtime elapsed (ms)=406

                   CPUtime spent (ms)=2790

                   Physicalmemory (bytes) snapshot=290168832

                   Virtualmemory (bytes) snapshot=3772538880

                   Totalcommitted heap usage (bytes)=139837440

         ShuffleErrors

                   BAD_ID=0

                   CONNECTION=0

                   IO_ERROR=0

                   WRONG_LENGTH=0

                   WRONG_MAP=0

                   WRONG_REDUCE=0

         FileInput Format Counters

                   BytesRead=52

         FileOutput Format Counters

                   BytesWritten=795

16/12/30 23:38:29 INFO client.RMProxy:Connecting to ResourceManager at node1/192.168.233.129:8032

16/12/30 23:38:41 INFOinput.FileInputFormat: Total input paths to process : 1

16/12/30 23:38:42 INFOmapreduce.JobSubmitter: number of splits:1

16/12/30 23:38:42 INFOmapreduce.JobSubmitter: Submitting tokens for job: job_1483111826986_0002

16/12/30 23:38:43 INFO impl.YarnClientImpl:Submitted application application_1483111826986_0002

16/12/30 23:38:43 INFO mapreduce.Job: Theurl to track the job: http://node1:8088/proxy/application_1483111826986_0002/

16/12/30 23:38:43 INFO mapreduce.Job:Running job: job_1483111826986_0002

16/12/30 23:39:26 INFO mapreduce.Job: Jobjob_1483111826986_0002 running in uber mode : false

16/12/30 23:39:26 INFO mapreduce.Job:  map 0% reduce 0%

16/12/30 23:40:30 INFO mapreduce.Job:  map 100% reduce 0%

16/12/30 23:40:59 INFO mapreduce.Job:  map 100% reduce 100%

16/12/30 23:41:00 INFO mapreduce.Job: Jobjob_1483111826986_0002 completed successfully

16/12/30 23:41:01 INFO mapreduce.Job:Counters: 49

         FileSystem Counters

                   FILE:Number of bytes read=907

                   FILE:Number of bytes written=199287

                   FILE:Number of read operations=0

                   FILE:Number of large read operations=0

                   FILE:Number of write operations=0

                   HDFS:Number of bytes read=924

                   HDFS:Number of bytes written=90

                   HDFS:Number of read operations=6

                   HDFS:Number of large read operations=0

                   HDFS:Number of write operations=2

         JobCounters

                   Launchedmap tasks=1

                   Launchedreduce tasks=1

                   Data-localmap tasks=1

                   Totaltime spent by all maps in occupied slots (ms)=47074

                   Totaltime spent by all reduces in occupied slots (ms)=36364

                   Totaltime spent by all map tasks (ms)=47074

                   Totaltime spent by all reduce tasks (ms)=36364

                   Totalvcore-seconds taken by all map tasks=47074

                   Totalvcore-seconds taken by all reduce tasks=36364

                   Totalmegabyte-seconds taken by all map tasks=48203776

                   Totalmegabyte-seconds taken by all reduce tasks=37236736

         Map-ReduceFramework

                   Mapinput records=53

                   Mapoutput records=53

                   Mapoutput bytes=795

                   Mapoutput materialized bytes=907

                   Inputsplit bytes=129

                   Combineinput records=0

                   Combineoutput records=0

                   Reduceinput groups=28

                   Reduceshuffle bytes=907

                   Reduceinput records=53

                   Reduceoutput records=15

                   SpilledRecords=106

                   ShuffledMaps =1

                   FailedShuffles=0

                   MergedMap outputs=1

                   GCtime elapsed (ms)=268

                   CPUtime spent (ms)=2570

                   Physicalmemory (bytes) snapshot=296046592

                   Virtualmemory (bytes) snapshot=3772530688

                   Totalcommitted heap usage (bytes)=140697600

         ShuffleErrors

                   BAD_ID=0

                   CONNECTION=0

                   IO_ERROR=0

                   WRONG_LENGTH=0

                   WRONG_MAP=0

                   WRONG_REDUCE=0

         FileInput Format Counters

                   BytesRead=795

         FileOutput Format Counters

                   BytesWritten=90

5.输出结果

root@node1:/usr/local/hadoop/hadoop-2.5.2/myJar#hdfs dfs -cat /usr/local/hadooptempdata/output/deg2/*

1       A       C

1       A       G

1       A       I

1       B       D

1       B       F

1       B       H

1       B       I

2       C       E

2       C       G

1       C       H

1       D      G

1       D      I

1       E       G

1       F       H

2       F       I

liushahe2012
关注
专栏目录
Hadoop社交好友推荐(二度好友)
qq309648008的博客
12-16 1984
Hadoop社交好友推荐(二度好友) 情景简述 ​ 如果A和B具有好友关系，B和C具有好友关系，而A和C却不是好友关系，那么我们称A和C这样的关系为：二度好友关系。 ​ 在生活中，二度好友推荐的运用非常广泛，一般在主流的社交平台上关于好友推荐上就有这方面的应用，当然，在当下海量的数据中，利用MapReduce编程模型来实现不失为一种较好的方式，具体的过程如下图。 ​ 把上面的图抽象一下可以...
hadoop2.7.3+win10+idea环境下：MapReduce实现二度好友推荐算法
渣渣的夏天
10-22 1465
在hadoop2.7.3 + win10 + idea 环境下，利用MapReduce实现二度好友推荐算法，主要包含问题描述、思路分析、步骤讲解和代码分析。
Hadoop实例：二度人脉与好友推荐
03-16
Hadoop实例：二度人脉与好友推荐，供大家一起共同分享学习。
hadoop求推荐好友-2度关系
大学之道
05-16 480
推荐好友 a -&gt; b,c,d b -&gt; a,c,e ------------- a-b ab_cd a-c ac_bd a-d ad_bc b-a ba_ce b-c bc_ae b-e ...
Hadoop简单应用程序实例
最新发布
qq_73841617的博客
06-20 1119
Hadoop是一个分布式系统基础架构，主要用于大数据的存储和处理。它允许使用简单的编程模型跨集群处理和生成大数据集。Hadoop主要由HDFS（Hadoop Distributed FileSystem，分布式文件系统）和MapReduce编程模型两部分组成。
hadoop计算二度人脉关系推荐好友
weixin_30764137的博客
04-22 269
https://www.jianshu.com/p/8707cd015ba1 问题描述： 以下是qq好友关系，进行好友推荐，比如：老王和二狗是好友 ， 二狗和春子以及花朵是好友，那么老王和花朵 或者老王和春子就有可能也认识，可以对老王推荐春子和或花朵作为好友。 注意以下是制表符：tab建，所以程序中用 /t进行分割 老王 二狗 老王 二毛 二狗 春子 二狗 ...
基于hadoop的好友推荐系统
04-07
【标题】"基于Hadoop的好友推荐系统"揭示了如何利用大数据处理框架Hadoop来构建一个高效、可扩展的社交网络中的好友推荐功能。在现代的社交媒体平台中，好友推荐是提升用户粘性和互动性的重要手段，通过分析用户的...
Hadoop课程设计，基于Hadoop的好友推荐，在VM虚拟机上搭建CentOS环境（伪分布式）
06-22
【标题】：“Hadoop课程设计，基于Hadoop的好友推荐，在VM虚拟机上搭建CentOS环境（伪分布式）”这一主题涵盖了多个IT领域的关键知识点，包括大数据处理框架Hadoop、虚拟化技术VMware、操作系统CentOS以及数据推荐...
Hadoop简单应用案例
06-04
2. **HDFS（Hadoop Distributed File System）**：HDFS是Hadoop的数据存储系统，它提供了高容错性和高可用性。HDFS的基本操作包括文件的上传、下载、查看、删除等，学习这些操作对于理解和管理Hadoop集群至关重要。...
hadoop之三、好友推荐
weixin_34310369的博客
09-16 159
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop （十三）Hadoop-MR编程 -- 【模拟qq推荐你可能认识的人】
08-14
Hadoop （十三）Hadoop-MR编程 -- 【模拟qq推荐你可能认识的人】
MapReduce实现二度好友推荐算法
10-22
hadoop之MapReduce实现二度好友算法，包含输入数据demo，完整运算代码，在windows10下成功运行，输出结果为cat hello:2,hadoop:2,mr:1,world:1类似。
Hadoop 入门 之 实践之好友推荐
Suntec 的专栏
12-01 693
好友推荐 mapper public class FTopMapper extends Mapper&lt;LongWritable, Text, Text, IntWritable&gt; { private Text mKey = new Text(); private IntWritable mValue = new IntWritable(); @Overri...
Hadoop好友推荐系统-推荐结果查询
想作会飞的鱼的博客
07-14 2601
一、前端展示 1、jsp页面 page language="java" import="java.util.*" pageEncoding="UTF-8"%> <% String path = request.getContextPath(); String basePath = request.getScheme()+"://"+request.getServerName()+":"+req
大数据Hadoop学习之——好友推荐
xdkb159的博客
08-21 4338
一、算法说明 好友关系如图： 1、直接相连的表示两个人是直接好友关系； 2、两个人有相同的好友表示两个人是间接好友（当然可能两个人同时也是直接好友，如图hello和hive）。 3、好友推荐列表就是按照两个用户的共同好友数量排名 二、MapReduce分析 1、分两步MapReduce计算完成； 2、第一步先得到用户的间接好友关系数目，注意有直接好友关系的用户需要过滤掉； 3、第二步根...
第三节 Hadoop学习案例——MapReduce课程设计 好友推荐功能
qq_53114527的博客
09-30 4927
Hadoop学习案例——MapReduce课程设计 好友推荐功能
二度人脉推荐(案例)
何星驰的专栏@17316365004@sina.cn
01-07 2098
- 基于:hadoop2.x集群:HDFS + MapReduce JobFriends Mao01 Resource01 Map02 Resource02 JobFriends package com.friend; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; impo...
Hadoop案例实战：WordCount、去重与数据分析
在这个Hadoop案例中，我们将探讨五个实际应用的MapReduce任务，帮助你理解分布式计算框架如何在大规模数据处理中发挥作用。首先，"wordCount"任务是经典的Hadoop入门案例，它要求统计一个文本文件（如`acticle.txt`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值