社交粉丝数据分析----求qq共同好友

最新推荐文章于 2022-02-17 23:57:22 发布

缘定三石

最新推荐文章于 2022-02-17 23:57:22 发布

阅读量1.3k

点赞数 1

分类专栏： Hadoop实战文章标签：社交粉丝分析 qq共同好友

本文链接：https://blog.csdn.net/tian_qing_lei/article/details/75093441

版权

这篇博客探讨了如何分析QQ好友数据，通过找出两个用户之间的共同好友。首先确定每个人被哪些用户共同拥有，然后遍历这些结果，列出所有成对用户及其共享的好友名单。例如，用户A和B的共同好友包括E和C。

摘要由CSDN通过智能技术生成

需求：

以下是qq的好友列表数据，冒号前是一个用，冒号后是该用户的所有好友（数据中的好友关系是单向的）

A:B,C,D,F,E,O

B:A,C,E,K

C:F,A,D,I

D:A,E,F,L

E:B,C,D,M,L

F:A,B,C,D,E,O,M

G:A,C,D,E,F

H:A,C,D,E,O

I:A,O

J:B,O

K:A,C,D

L:D,E,F

M:E,F,G

O:A,H,I,J

求出哪些人两两之间有共同好友，及他俩的共同好友都有谁？

第一阶段思路：我们先找出一个人被哪几个人共同拥有

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class ShareFriendsStepOne {

	static class ShareFriendsMapper extends Mapper<LongWritable, Text, Text, Text> {

		@Override
		protected void map(LongWritable key, Text values, Context context) throws IOException, InterruptedException {
			// A:B,C,D,F,E,O
			String value = values.toString();
			String[] person_friends = value.split(":");
			String person = person_friends[0];
			String friends = person_friends[1];

			for (String friend : friends.split(",")) {
				//输出(友人)
				context.write(new Text(friend), new Text(person));
			}

		}

	}

	static class ShareFriendsReduce extends Reducer<Text, Text, Text, Text> {
		// (B,A) (C,A) (D,A)(E,A)(F,A)

		@Override
		protected void reduce(Text friend, Iterable<Text> persons, Context context)
				throws IOException, InterruptedException {

			StringBuffer sb = new StringBuffer();

			for (Text person : persons) {
				sb.append(person).append(",");

			}
			// 输出(友人，人，人，人)
			context.write(friend,