用hadoop2.7.1 mapreduce实现QQ好友推荐功能

最新推荐文章于 2020-02-27 22:58:35 发布

尘埃落定55

最新推荐文章于 2020-02-27 22:58:35 发布

阅读量2.8k

点赞数 1

分类专栏： Hadoop 文章标签： hadoop mapreduce QQ好友推荐 qq

本文链接：https://blog.csdn.net/jiang0426/article/details/51396338

版权

1、模拟一组好友关系：

aaa	bbb
ccc	ddd
eee	fff
ggg	hhh
bbb	zzz
eee	iii

（aaa和bbb是好友，ccc和ddd是好友……，直观可以看出应该给aaa-zzz，fff-iii作好友推荐）

2、将数据导入mapper，两列分别作key和value

<pre name="code" class="java">package cn.nanda.QQ;

import java.io.IOException;

import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class QQMapper extends Mapper<LongWritable, Text, Text, Text> {
	@Override
	protected void map(LongWritable key, Text value, Context context)
			throws IOException, InterruptedException {

		String line = value.toString();
		String[] ss = StringUtils.split(line, "\t");

		context.write(new Text(ss[0]), new Text(ss[1]));
		context.write(new Text(s