来。我们搞一篇博客之mapreduce查 找隐藏好友

**

搞一篇博客之mapreduce查 找隐藏好友

**
q.q举个例子如何用mapreduce查找可能的好友。
有如下例子：
A B — 表示A和B是朋友，下述类推
A C
A D
A E
B A
B E
B D
C A
C E
D C
D A
D B
那么如何找出A的隐藏朋友，找朋友的规则是例如D和B是朋友(最后一行数据表明，如下类推)，B和E是朋友，但是D和E并不是朋友，此时D可能和E成为朋友，这时D就是E的隐藏朋友，E也是D的隐藏朋友。
解决思路：

• 找到A、B、C、D的所有朋友，从其中去重，从一个人推所有人。例如说在A的所有朋友圈中，A的朋友有B、C、D、E，暂不考虑其他人的朋友，B、C、D、E之间是不认识的，我们从其中作以标记。原理就是通过map将标记为朋友的通过shuffle集中在一起，通过reduce将有朋友的标记的去除掉。两个人之间通过任何人的关系都不能表名是朋友关系才存在隐藏朋友的关系。
  由此，贴代码如下

第一次map处理
import java.io.IOException;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class Friend1Mapper extends Mapper<LongWritable, Text, Text, Text> {
   

	public void map(LongWritable ikey, Text ivalue, Context context) throws IOException, InterruptedException {
   
		// 将朋友键值对整理成一个人对应一个朋友列表
		String[] arr = ivalue.toString().split(" ");
		context.write(new Text(arr[0]), new Text(arr[1]));
	}

}

第一次reduce处理
import java.io.IOException;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class Friend1Reducer extends Reducer<Text, Text, Text, Text> {
   

	public void reduce(Text _key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
   
		// process values
		String friends = "";
		for (Text val : values) {
   
			// 拼接一下朋友列表用逗号分割
			friends += val.toString() + ",";
		}
		context.