MapReduce-实战[找博客共同好友案例]

最新推荐文章于 2024-04-09 00:21:14 发布
最新推荐文章于 2024-04-09 00:21:14 发布
阅读量382 收藏 2
点赞数
分类专栏： 大数据 文章标签： hadoop MapReduce-实战
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liberty12345678/article/details/84546896
版权

1、需求：

以下是博客的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中 的好友关系是单向的）求出哪些人两两之间有共同好友，及他俩的共同好友都有谁？

2、需求分析：

先求出 A、B、C、….等是谁的好友(如A是I,K,C,B,G,F,H,O,D的好友)

第一次输出结果

第二次输出结果(如A和B的共同好友有E、C)

......

3、代码实现：

3.1、第一次 Mapper

最低0.47元/天 解锁文章
青岛欢迎您
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
需求案例：求共同好友
散步的博客
03-19 355
以下是qq的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友 关系是单向的） A:B,C,D,F,E,O B:A,C,E,K C:A,B,D,E,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D L:D,E,F M:E,F,G O:A,H,I,J 求出哪些人...
大数据---17.MapReduce实现共同好友（好友关系图实现）
u014579001的博客
04-22 2222
MapReduce实现共同好友（好友关系图实现—倚天屠龙记关系）
（十三）MapReduce的其他案例及总结_mapreduce案例实战报告总结
最新发布
2401_84166396的博客
04-09 445
Mapreduce中会将map输出的kv对，按照相同key分组，然后分发给不同的reducetask，默认的分发规则为：根据key的hashcode%reducetask数来分发，所以：如果要按照我们自己的需求进行分组，则需要改写数据分发（分组）组件Partitioner，自定义一个CustomPartitioner继承抽象类：Partitioner，然后在job对象中，设置自定义partitioner： job.setPartitionerClass(CustomPartitioner.class)
MapReduce之共同好友
zhangdy12307的博客
06-19 455
MapReduce之共同好友 背景 如今大多数的社交网站都有提供的共同好友的服务，可以帮助与好友之间共享图片，消息，视频 定义 令 U 为包含所有用户的一个集合： {U1,U2,...,UnU_1,U_2,...,U_nU1​,U2​,...,Un​} 则为每个{Ui,UjU_i,U_jUi​,Uj​}对 {i ≠ j} 的共同好友 例如 好友1 的好友列表中有 100，200，300，400，...
Mapreduce 找博客共同好友案例
旺旺的博客
03-26 1062
以下是博客的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的） 求出哪些人两两之间有共同好友，及他俩的共同好友都有谁？ 输入： A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D1...
Hadoop大数据从入门到精通
09-28
Hadoop分布式文件系统（HDFS）和MapReduce的工作原理 如何优化Hadoop机群所需要的硬件配置 搭建Hadoop机群所需要考虑的网络因素 如何利用Hadoop配置选项进行系统性能调优 如何利用FairScheduler为多用户提供服务级别保障 Hadoop机群维护和监控 如何使用Flume从动态生成的文件加载数据到Hadoop
hadoop-mapreduce-client-jobclient-2.6.5-API文档-中文版.zip
05-01
赠送jar包：hadoop-mapreduce-client-jobclient-2.6.5.jar； 赠送原API文档：hadoop-mapreduce-client-jobclient-2.6.5-javadoc.jar； 赠送源代码：hadoop-mapreduce-client-jobclient-2.6.5-sources.jar； 赠送...
hadoop-mapreduce-examples-2.7.1.jar
06-03
hadoop-mapreduce-examples-2.7.1.jar
hadoop-mapreduce-client-common-2.6.0.jar
02-24
java运行依赖jar包
hadoop-mapreduce-client-app-2.7.3-API文档-中英对照版.zip
07-14
赠送jar包：hadoop-mapreduce-client-app-2.7.3.jar； 赠送原API文档：hadoop-mapreduce-client-app-2.7.3-javadoc.jar； 赠送源代码：hadoop-mapreduce-client-app-2.7.3-sources.jar； 赠送Maven依赖信息文件：...
mapreduce编程 好友推荐
11-01
在qq 微博等众多社交平台中，用户a有n位好友，在这n位好友里面的好友中有m位不是a的直接好友（例如用户b）。但是通过朋友的朋友，a与b之间有多位共同好友，换而言之，a是b可能认识的人。
hadoop-mapreduce-client-app-2.6.5-API文档-中文版.zip
05-01
赠送jar包：hadoop-mapreduce-client-app-2.6.5.jar； 赠送原API文档：hadoop-mapreduce-client-app-2.6.5-javadoc.jar； 赠送源代码：hadoop-mapreduce-client-app-2.6.5-sources.jar； 赠送Maven依赖信息文件：...
使用MapReduce实现寻找共同好友的案例
yzgyjyw的博客
06-05 3905
假设有一下qq的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的）A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D L:D,E,F M:E,F,G O:A,H,I,J问题：如果两个用户之
Mapreduce实例---共同好友
Tyshawn的博客
05-09 1639
一：问题介绍 原始数据：每个人的好友列表 A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D L:D,E,F M:E,F,G O:A,H,I,J ……
hadoop之MapReduce---找博客共同好友案例
@小刘同学nice
04-26 302
需求 以下是博客的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的） 求出哪些人两两之间有共同好友，及他俩的共同好友都有谁？ 数据输入 frienfd.txt A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O...
Mapreduce案例之找共同好友
weixin_30793643的博客
09-03 235
数据准备： A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,DL:D,E,FM:E,F,GO:A,H,I,J 需求： 1.先求出A、B、C、….等是谁的好友 2.求出哪些人两两之间有共同好友，及他俩的共同好友都有谁？ 需...
MapReduce 求两个人的共同好友算法
H_Shun的博客
12-02 4428
希望自己早日学会总结、学会善于总结。 需求 以下是qq的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的） A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M ...
MapReduce经典案例之共同好友
weixin_44961626的博客
03-22 246
【数据】 小明 小红 小黑 小绿 小兰 小兰 小乐 小云 小小 小明 小芳 小资 小飞 小王 小橘 小鹅 小钱 小时 小鸥 小票 小心 小丑 小宝 小白 小兰 小鸟 小米 小可 小小 小资 小九 小红 小鬼 小飞 小时 小爱 小爱 小时 小阮 小鬼 小七 小九 小橘 小鹅 小王 小兰 小绿 小红 小黑 小飞 小七 小吴 小图 小鸥 小胖 小微 小炮 第一个为用户，之后为好友列表； 【思路解析】 如上数据所示，小明和小红是直接好友，小明和小黑是直接好友，小红和小黑是潜在的间接好友；统计两个用户之间的
hadoop-mapreduce-client-core
11-18
hadoop-mapreduce-client-core是Hadoop分布式计算框架中的核心模块之一。它主要包含了Hadoop MapReduce的核心功能和API接口，是实现MapReduce编程模型的必备组件。 Hadoop MapReduce是一种用于大规模数据处理的编程...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值