- 博客(3)
- 收藏
- 关注
原创 MapReduce课程设计 好友推荐功能
在project项目下的pom.xml中将生成的其他项目module标签注释掉。在IDEA中创建项目friends-demo,然后在pom.xml中添加代码。– 朋友圈两个非好友的人,存在共同好友人数越多,越值得推荐。• 每行的第一列名字是用户的名字,后面的是其对应的好友。以上就是统计两个人之间的共同好友数来推荐好友!– 非好友的两个人之间存在相同好友则互为推荐关系。在项目的src/main/java目录下创建文件。•每个用户,推荐值越高的可能认识的人排在前面。•程序要求,给每个人推荐可能认识的人。
2022-10-01 22:06:24
541
1
原创 centOS7系统虚拟机节点的搭建
随着计算机的发展,越来越多的人认识到大数据的优点,这时就不得不提Hadoop,Hadoop能够处理海量数据的存储和海量数据的分析计算问题,具有4高优势:(1)高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。(2)高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点。(3)高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。(4)高容错性:能够自动将失败的任务重新分配。
2022-09-16 11:12:08
2470
原创 HDFS完全分布式集群搭建与配置及常见问题总结
Hadoop Distributed File System,简称 HDFS,是一个分布式文件系统。它解决了海量数据存储的问题。(1)NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的DataNode等。(2)DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和。(3)Secondary NameNode(2nn):每隔一段时间对NameNode元数据备份。1.路径错误问题。
2022-09-16 10:10:47
1292
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人