Google思想二（MapReduce）

最新推荐文章于 2024-05-24 16:31:34 发布

曲健磊的个人博客

最新推荐文章于 2024-05-24 16:31:34 发布

阅读量673

点赞数

分类专栏：【大数据】文章标签：大数据 MapReduce

本文链接：https://blog.csdn.net/a909301740/article/details/84037989

版权

本文介绍了Google的PageRank算法以及MapReduce的思想。PageRank通过矩阵计算确定网页权重，但在大规模数据下面临计算难题。为此，Google提出了MapReduce模型，它将大任务拆分为并行的小任务，通过Map阶段的映射和Reduce阶段的聚合，解决大规模数据处理问题。MapReduce程序由Map、Shuffle和Reduce三部分组成，所有输入输出都是对，并依赖于Hadoop的数据序列化机制。" 82708064,5735644,Python+Selenium 自动化点赞策略：清除Cookie,"['Python', 'Web自动化', 'Selenium', 'Cookie管理']

摘要由CSDN通过智能技术生成

MapReduce 的思想源于 PageRank（网页排名）问题。

PageRank（网页排名）

现在有四个网页，它们之间的存在如下引用关系：

在这里插入图片描述

网页 1 有 3 个引用，分别指向网页 2，网页 3，网页 4。
网页 2 有 2 个引用，分别指向网页 3，网页 4。
网页 4 有 1 个引用，分别指向网页 3。
网页 3 没有引用。

Google 采用向量矩阵的方式来表示上面网页之间的引用关系：

	网页2	网页3	网页4
网页1	1	1	1
网页2	0	1	1
网页3	0	0	0
网页4	0	1	0

最低0.47元/天解锁文章

曲健磊的个人博客

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
Google思想二（MapReduce）

MapReduce 的思想源于 PageRank（网页排名）问题。PageRank（网页排名）现在有四个网页，它们之间的存在如下引用关系：网页 1 有 3 个引用，分别指向网页 2，网页 3，网页 4。网页 2 有 2 个引用，分别指向网页 3，网页 4。网页 4 有 1 个引用，分别指向网页 3。网页 3 没有引用。Google 采用向量矩阵的方式来表示上面网页之间的引用关...
复制链接

扫一扫