MapReduce案例之多Map阶段求共同好友

QYHuiiQ

已于 2022-06-08 22:53:46 修改

阅读量416

点赞数

分类专栏：大数据之Hadoop 文章标签： mapreduce hadoop hdfs

于 2022-06-08 22:53:22 首次发布

本文链接：https://blog.csdn.net/QYHuiiQ/article/details/125190799

版权

大数据之Hadoop 专栏收录该内容

58 篇文章 0 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文通过一个MapReduce案例，详细介绍了如何利用Hadoop实现从好友关系数据中找出两两用户的共同好友。案例包含两个阶段，分别定制了Mapper和Reducer，经过打包和上传至服务器运行，最终得到了预期的共同好友结果。

摘要由CSDN通过智能技术生成

该案例中我们要实现的是从数据文件中的好友关系中得到两两之间的共同好友，具体实现大致需要通过下面的两个阶段。

第一阶段：

第二阶段：

数据准备

将数据上传至HDFS：

[root@hadoop01 test_data]# cat test_mapreduce_friend.txt
A#C,D,E
B#D,E,F
C#A,F
D#A,B
E#A,B
F#B,C

[root@hadoop01 test_data]# hdfs dfs -mkdir /test_multiple_map_input
[root@hadoop01 test_data]# hdfs dfs -put test_mapreduce_friend.txt /test_multiple_map_input

了解本专栏