MapReduce课程设计 好友推荐功能

于 2022-10-04 15:45:43 发布
阅读量994 收藏 5
点赞数
文章标签： hadoop 大数据 hdfs mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_62838961/article/details/127162085
版权

目录

一、项目说明

二、程序需求与数据

1.需求

2.数据

三、编码操作

1.项目建包目录

2.FriendsRecommend.java

3.FriendsRecommendMapper.java

4.FriendsRecommendReduce.java

四、Xshll运行的步骤 

1.创建目录

2.上传程序

3.分布式文件系统上传测试数据

4.执行程序

5.查看结果

总结

一、项目说明

 互为推荐关系
– 非好友的两个人之间存在相同好友则互为推荐关系
– 朋友圈两个非好友的人，存在共同好友人数越多，越值得推荐
– 存在一个共同好友，值为1；存在多个值累加

二、程序需求与数据

1.需求

• 程序要求，给每个人推荐可能认识的人

     -互为推荐关系值越高，越值得推荐
     -每个用户，推荐值越高的可能认识的人排在前面

2.数据

• 数据使用空格分割
• 每行是一个用户以及其对应的好友
• 每行的第一列名字是用户的名字，后面的是其对应的好友

        数据准备：friend.txt

三、编码操作

1.项目建包目录

2.FriendsRecommend.java

最低0.47元/天 解锁文章
哈了个Doop
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
MapReduce练习项目：好友推荐
m0_52135711的博客
09-30 757
本文章介绍好友推荐项目：内容：– 非好友的两个人之间存在相同好友则互为推荐关系– 朋友圈两个非好友的人，存在共同好友人数越多，越值得推荐– 存在一个共同好友，值为1；存在多个值累加以上就是今天的练习项目 ，实现好友推荐，喜欢记得三连哦！！！
【MySQL进阶之路】好友推荐系统索引设计实战
最新发布
qq_45260619的博客
02-12 998
接下来根据具体的项目场景来对索引设计进行讲解 在这里以社交网站中的查询推荐好友功能为例，作用主要是根据一些条件查询用户
MapReduce课程设计———好友推荐功能
m0_46410349的博客
09-30 920
MapReduce课程设计———好友推荐功能
MapReduce原理及编程（含词频统计编程实例）
小财迷嘻嘻的博客
09-10 3228
1、MapReduce基础 1、什么是MapReduce 是一个分布式计算框架，它将大型数据操作作业分解为可以跨服务器集群并行执行的单个任务； 适用于大规模数据处理场景； 每个节点处理存储在该节点的数据。 2、MapReduce的设计思想 1、分而治之 简化并行计算的编程模型 2、构建抽象模型map和reduce 开发人员专注于实现Mapper和Reducer函数 3、隐藏系统层细节 开发人员专注于业务逻辑实现 3、MapReduce特点 1、优点 易于编程 可扩展性 高容错性 高吞吐量 2、不适用领域 难
Hadoop课程设计-基于Java和mapreduce实现的贝叶斯文本分类器设计
10-07
Hadoop课程设计-基于Java和mapreduce实现的贝叶斯文本分类器设计; Hadoop课程设计-基于Java和mapreduce实现的贝叶斯文本分类器设计;
mapreduce编程 好友推荐
11-01
在qq 微博等众多社交平台中，用户a有n位好友，在这n位好友里面的好友中有m位不是a的直接好友（例如用户b）。但是通过朋友的朋友，a与b之间有多位共同好友，换而言之，a是b可能认识的人。
MapReduce课程设计3-邮件自动分类1
08-03
【MapReduce课程设计3-邮件自动分类1】的目的是通过Hadoop的MapReduce编程实现邮件的自动分类，以此提升对MapReduce的理解和应用能力。在这个过程中，学生将学习到如何利用第三方库处理大数据任务，以及如何设计...
MapReduce过滤图书年份 课程设计
01-06
这段Java代码是一个使用Hadoop MapReduce框架编写的程序，用于处理和分析数据。它定义了一个主类`Problem2`，其中包括了Mapper和Reducer的实现，通过MapReduce作业，对输入数据进行解析和处理，最终将结果写入输出...
MapReduce-recomend:二度人脉好友推荐mapreduce算法
05-16
MapReduce-recomend 二度人脉好友推荐运用非常广泛，比如在一些主流的社交产品中就有可能认识的人这样的功能，一般来说可能认识的人是通过二度人脉搜索得到的，在传统的关系型数据库中，可以通过图的广度优先遍历算法实现，而且深度限定为2，然而在海量的数据中，这样的遍历成本太大，所以有必要利用MapReduce编程模型来并行化，本篇文章是二度好友推荐的mapreduce简单实现，难免会有不足和缺陷，希望大家能够指出，共同进步。 假如A和B是好友关系，B和C是好友关系，然而C和A不是好友关系，那么A和C是二度好友关系，他们可以通过B认识，B是中间人。我们定义一个符号“>”来代表follow，上面的例子可以这样表示 A>B B>C 在社交网络任何一个活跃的用户U都存在对应的两个集合，一个是粉丝集合，一个是关注集合，以用户U作为中间联系的2度人脉对，是粉丝集合和关注集合的笛卡尔积。 于是在M
MapReduce实现二度好友推荐算法
10-22
hadoop之MapReduce实现二度好友算法，包含输入数据demo，完整运算代码，在windows10下成功运行，输出结果为cat hello:2,hadoop:2,mr:1,world:1类似。
课程设计 hadoop集群的安装与配置
07-01
并行程序设计，Hadoop集群的安装与配置。 Hadoop一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。
大数据课程-Hadoop集群程序设计与开发-4.MapReduce分布式计算框架_lk_edit.pptx
01-01
大数据课程——Hadoop集群程序设计与开发，教师版，提供教学大纲、教案、教学设计、实训文档等，课程内容包含教学准备环境、软件安装、作业、教学文档、演示视频，花费巨额时间亲自制作，下载后可私信提供上述所有教学资料，可按照ppt以及教学文档直接教授
MapReduce程序设计——WordCount
Ryan
01-08 714
一、实验目的 熟悉HDFS的命令行操作和Java访问HDFS的方法 二、实验平台 操作系统：Linux Hadoop版本：2.7.1。 Maven 三、实验步骤 安装Eclipse：注意林子雨老师的镜像中包含的Eclipse没有Maven，请卸载之后安装一个较新版本的Eclipse 更改Maven本地源：新建Settings.xml文件，复制下面的内容 <settings xm...
MapReduce案例之好友推荐
吴成伟的博客
02-27 1306
可能遇到的问题: Cannot create directory /mr/fof/input. Name node is in safe mode. 解决方法:退出安全模式 bin/hadoop dfsadmin -safemode leave WARN util.NativeCodeLoader: Unable to load native-hadoop library for your pl...
MapReduce案例：好友推荐简单实现
arne's Blog
06-18 2913
一、好友推荐算法在实际的社交环境中应用较多，比如qq软件中的“你可能认识的好友”或者是Facebook中的好友推介。常见的好友推介算法有六度分割理论，三元闭包论和最基本的好友推介算法。 学习和分享好友推介算法。 假设用户A有好友A1，A2，A3，则A1，A2，A3相互之间都可能通过好友A认识，是潜在的好友关系。如果用户B有好友A1，A2，B1，则A1，A2，B1相互之间都可能通过好友B认识。如下图...
MapReduce实例——好友推荐
sinat_34045444的博客
01-14 4593
1. 实例介绍 好友推荐算法在实际的社交环境中应用较多，比如qq软件中的“你可能认识的好友”或者是Facebook中的好友推介。好友推荐功能简单的说是这样一个需求，预测某两个人是否认识，并推荐为好友，并且某两个非好友的用户，他们的共同好友越多，那么他们越可能认识。 2. 数据流程 3. 具体实现 3.1 上传数据qq.txt tom cat hadoop hello hello mr tom...
Hadoop实例：二度人脉与好友推荐
逐梦科学
05-10 1479
Hadoop实例：二度人脉与好友推荐 ［来源］ 达内    ［编辑］ 达内   ［时间］2013-01-07 在新浪微博、人人网等社交网站上，为了使用户在网络上认识更多的朋友，社交网站往往提供类似“你可能感兴趣的人”、“间接关注推荐”等好友推荐的功能。一直很好奇这个功能是怎么实现的。 在新浪微博、人人网等社交网站上，为了使用户在网络上认识更多的朋友，社交网站往往提
mapreduce课程设计小结
12-20
根据提供的引用内容，我无法直接回答关于MapReduce课程设计的问题。引用提到了关于MapReduce初级编程实践的实验环境和内容，而引用提到了一个hadoop命令行的使用示例。但是，这些引用并没有提供关于MapReduce课程...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值