文章转载自:刀刀流,原文链接:http://blog.csdn.net/rubinorth/article/details/52215036
本文将介绍PageRank算法的相关内容,具体如下:
1. 算法来源
这个要从搜索引擎的发展讲起。最早的搜索引擎采用的是 分类目录1 的方法,即通过人工进行网页分类并整理出高质量的网站。那时 Yahoo 和国内的 hao123 就是使用的这种方法。
后来网页越来越多,人工分类已经不现实了。搜索引擎进入了 文本检索 的时代,即计算用户查询关键词与网页内容的相关程度来返回搜索结果。这种方法突破了数量的限制,但是搜索结果不是很好。因为总有某些网页来回地倒腾某些关键词使自己的搜索排名靠前。
于是我们的主角要登场了。没错,谷歌的两位创始人,当时还是美国斯坦福大学 (Stanford University) 研究生的佩奇 (Larry Page) 和布林 (Sergey Brin) 开始了对网页排序问题的研究。他们的借鉴了学术界评判学术论文重要性的通用方法, 那就是看论文的引用次数。由此想到网页的重要性也可以根据这种方法来评价。于是PageRank的核心思想就诞生了2,非常简单:
- 如果一个网页被很多其他网页链接到的话说明这个网页比较重要,也就是PageRank值会相对较高
- 如果一个PageRank值很高的网页链接到一个其他的网页,那么被链接到的网页的PageRank值会相应地因此而提高
就如下图所示(一个概念图):
2. 算法原理
PageRank算法3总的来说就是预先给每个网页一个PR值(下面用PR值指代PageRank值),由于PR值物理意义上为一个网页被访问概率,所以一般是 1N ,其中N为网页总数。另外,一般情况下,所有网页的PR值的总和为1。如果不为1的话也不是不行,最后算出来的不同网页之间PR值的大小关系仍然是正确的,只是不能直接地反映概率了。
预先给定PR值后,通过下面的算法不断迭代,直至达到平稳分布为止。
互联网中的众多网页可以看作一个有向图。下图是一个简单的例子4:
这时A的PR值就可以表示为:
然而图中除了C之外,B和D都不止有一条出链,所以上面的计算式并不准确。想象一个用户现在在浏览B网页,那么下一步他打开A网页还是D网页在统计上应该是相同概率的。所以A的PR值应该表述为:
互联网中不乏一些没有出链的网页,如下图:
图中的C网页没有出链,对其他网页没有PR值的贡献,我们不喜欢这种自私的网页(其实是为了满足 Markov 链的收敛性),于是设定其对所有的网页(包括它自己)都有出链,则此图中A的PR值可表示为:
然而我们再考虑一种情况:互联网中一个网页只有对自己的出链,或者几个网页的出链形成一个循环圈。那么在不断地迭代过程中,这一个或几个网页的PR值将只增不减,显然不合理。如下图中的C网页就是刚刚说的只有对自己的出链的网页:
为了解决这个问题。我们想象一个随机浏览网页的人,当他到达C网页后,显然不会傻傻地一直被C网页的小把戏困住。我们假定他有一个确定的概率会输入网址直接跳转到一个随机的网页,并且跳转到每个网页的概率是一样的。于是则此图中A的PR值可表示为:
在一般情况下,一个网页的PR值计算如下:
其中
Mpi
是所有对
pi
网页有出链的网页集合,
L(pj)
是网页
pj
的出链数目,
N
是网页总数,
α
一般取0.85。
根据上面的公式,我们可以计算每个网页的PR值,在不断迭代趋于平稳的时候,即为最终结果。具体怎样算是趋于平稳,我们在下面的PR值计算方法部分再做解释。
3. 算法证明
- limn→∞Pn 是否存在?
- 如果极限存在,那么它是否与 P0 的选取无关?
PageRank算法的正确性证明包括上面两点5。为了方便证明,我们先将PR值的计算方法转换一下。
仍然拿刚刚的例子来说
我们可以用一个矩阵来表示这张图的出链入链关系, Sij=0 表示 j 网页没有对 i 网页的出链:
取 e 为所有分量都为 1 的列向量,接着定义矩阵:
则PR值的计算如下,其中 Pn 为第n次迭代时各网页PR值组成的列向量:
于是计算PR值的过程就变成了一个 Markov 过程,那么PageRank算法的证明也就转为证明 Markov 过程的收敛性证明:如果这个 Markov 过程收敛,那么 limn→∞Pn 存在,且与 P0 的选取无关。
若一个 Markov 过程收敛,那么它的状态转移矩阵 A 需要满足6:
- A为随机矩阵。
- A是不可约的。
- A是非周期的。
先看第一点,随机矩阵又叫概率矩阵或 Markov 矩阵,满足以下条件:
显然我们的A矩阵所有元素都大于等于0,并且每一列的元素和都为1。
第二点,不可约矩阵:方针A是不可约的当且仅当与A对应的有向图是强联通的。有向图 G=(V,E) 是强联通的当且仅当对每一对节点对 u,v∈V ,存在从 u 到 v 的路径。因为我们在之前设定用户在浏览页面的时候有确定概率通过输入网址的方式访问一个随机网页,所以A矩阵同样满足不可约的要求。
第三点,要求A是非周期的。所谓周期性,体现在Markov链的周期性上。即若A是周期性的,那么这个Markov链的状态就是周期性变化的。因为A是素矩阵(素矩阵指自身的某个次幂为正矩阵的矩阵),所以A是非周期的。
至此,我们证明了PageRank算法的正确性。
4. PR值计算方法
4.1 幂迭代法
首先给每个页面赋予随机的PR值,然后通过 Pn+1=APn 不断地迭代PR值。当满足下面的不等式后迭代结束,获得所有页面的PR值:
4.2 特征值法
当上面提到的Markov链收敛时,必有:
4.3 代数法
相似的,当上面提到的Markov链收敛时,必有:
5. 算法实现
5.1 基于迭代法的简单实现
用python实现7,需要先安装python-graph-core。
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
运行结果:
- 1
- 2
- 3
程序中给出的网页之间的关系一开始如下:
迭代结束后如下:
上面的代码的初版有一个错误,我感觉对于PageRank的理解比较有价值,遂在这里贴出链接:点我。
5.2 MapReduce实现
作为Hadoop(分布式系统平台)的核心模块之一,MapReduce是一个高效的分布式计算框架。下面首先简要介绍一下MapReduce原理。
所谓MapReduce,就是两种操作:Mapping和Reducing8。
- 映射(Mapping):对集合里的每个目标应用同一个操作。
- 化简(Reducing ):遍历Mapping返回的集合中的元素来返回一个综合的结果。
就拿一个最经典的例子来说:现在有3个文本文件,需要统计出所有出现过的词的词频。传统的想法是让一个人顺序阅读这3个文件,每遇到一个单词,就看之前有没有遇到过。遇到过的话词频加一:(单词,N + 1),否则就记录新词,词频为一:(单词,1)。
MapReduce方式为:把这3个文件分给3个人,每个人阅读一份文件。每当遇到一个单词,就记录这个单词:(单词,1)(不管之前有没有遇到过这个单词,也就是说可能出现多个相同单词的记录)。之后将再派一个人把相同单词的记录相加,即可得到最终结果。
词频统计的具体实现可见点我。
下面是使用MapReduce实现PageRank的具体代码9。首先是通用的map与reduce模块。若是感觉理解有困难,可以先看看词频统计的实现代码,其中同样使用了下面的模块:
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
接着是计算PR值的类,其中实现了用于计算PR值的mapper和reducer:
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 94
- 95
- 96
- 97
最后是测试部分,我使用了python的digraph创建了一个有向图,并调用上面的方法来计算PR值:
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
附上运行结果:
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
以上便是PageRank的MapReduce实现。代码中的注释较为详细,理解应该不难。
6. PageRank算法的缺点
这是一个天才的算法,原理简单但效果惊人。然而,PageRank算法还是有一些弊端。
第一,没有区分站内导航链接。很多网站的首页都有很多对站内其他页面的链接,称为站内导航链接。这些链接与不同网站之间的链接相比,肯定是后者更能体现PageRank值的传递关系。
第二,没有过滤广告链接和功能链接(例如常见的“分享到微博”)。这些链接通常没有什么实际价值,前者链接到广告页面,后者常常链接到某个社交网站首页。
第三,对新网页不友好。一个新网页的一般入链相对较少,即使它的内容的质量很高,要成为一个高PR值的页面仍需要很长时间的推广。
针对PageRank算法的缺点,有人提出了TrustRank算法。其最初来自于2004年斯坦福大学和雅虎的一项联合研究,用来检测垃圾网站。TrustRank算法的工作原理:先人工去识别高质量的页面(即“种子”页面),那么由“种子”页面指向的页面也可能是高质量页面,即其TR值也高,与“种子”页面的链接越远,页面的TR值越低。“种子”页面可选出链数较多的网页,也可选PR值较高的网站。
TrustRank算法给出每个网页的TR值。将PR值与TR值结合起来,可以更准确地判断网页的重要性。
7. 写在最后
谷歌用PR值来划分网页的等级,有0~10级,一般4级以上的都是比较好的网页了。谷歌自己PR值为9,百度也是9,CSDN的PR值则为7。
如今PR值虽不如以前重要了(没有区分页面内的导航链接、广告链接和功能链接导致PR值本身能够反映出的网页价值不精确,并且对新网页不友好),但是流量交易里PR值还是个很重要的参考因素。
最后,有一个图形化网站提供PageRank过程的动态图:点我。
参考资料
- 《这就是搜索引擎:核心技术详解》,张俊林 ↩
- 当年PageRank诞生的论文:The PageRank Citation Ranking: Bringing Order to the Web ↩
- 维基百科PageRank ↩
- PageRank算法简介及Map-Reduce实现 ↩
- 博客《谷歌背后的数学》,卢昌海 ↩
- 博客PageRank背后的数学 ↩
- 深入浅出PageRank算法 ↩
- MapReduce原理与设计思想 ↩
- Using MapReduce to compute PageRank ↩