Google 的秘密- PageRank 彻底解说 中文版(一)

索引

Since: Thu Feb 1 18:22:44 JST2001
Last Refreshed: Sat Jan 24 18:30:35 JST2004

★(2004/1/24) 本文的中文版由袁黄琳(YuanHuanglin)翻译制作完成。

★(2003/7/1)拙著『Namazu系统的构筑和活用』已作修订。详情请看 介绍页面 。

★(2003/5/20) 与 Google有关的在线新闻报道一览(日语)已被分离到 另一张页面(googlenews.html) 。

★(2001/2/28) Namazu 的索引中使用的计算 PageRank的 Perl 脚本 prnmz-1.0.tar.gz 公开下载

 

1.前言

最近，搜索引擎 Google(http://www.google.com/)非常引人注目。Google 是基于现担任 CEO 的 LarryPage 和担任总经理的 Sergey Brin(2001年2月)在就读于美斯坦福大学研究生院时所开发的搜索引擎的一种检索服务。Google 从1998年9月开始服务,但Netscape Communications 在 Google 的测试阶段就开始与其合作，美国 Yahoo!公司也从2000年6月起将默认搜索引擎(美国 Yahoo! 不能检索时作为增补的搜索引擎)由原先合作的 Inktomi 转换为了Google。日语版 Google 在2000年9月正式登场,现已被 BIGLOBE(NEC)所采用。 (注:2001年4月Yahoo! JAPAN 和 @NIFTY，7月索尼，2002年1月 Excite 也相继与 Google建立了协作关系)。

Google被评价的优点不仅仅在于去除无用的(广告)标语构成单一页面的功能、独自的 Cache系统、动态制成摘要信息、为实现高速检索而设置的分散系统(数千台规模的Linux群集器)等，而其中最大的优点正是它检索结果的正确性。一种能够自动判断网页重要性的技术「PageRank是(网页等级)」就是为此而设计的一种技术。本文的目的就是以尽可能浅显易懂的语言来说明PageRank 系统的概要和原理。

以下是 PageRank 的一篇基础文章。

Lawrence Page, Sergey Brin, Rajeev Motwani, Terry Winograd, 'ThePageRank Citation Ranking: Bringing Order to the Web',1998,  
http://www-db.stanford.edu/~backrub/pageranksub.ps

为了更高效地计算 PageRank,以下是改良以后的一篇论文。

Taher H. Haveliwala, 'Efficient Computation of PageRank', StanfordTechnical Report, 1999,  
http://dbpubs.stanford.edu:8090/pub/1999-31

另外，以下是 PageRank 的演示用资料(PowerPoint)。

Larry Page, 'PageRank: Bringing Order to theWeb',  
http://hci.stanford.edu/~page/papers/pagerank/ （已失效）

接下来就对这两篇文章(另加一篇资料)进行基本说明。 首先，用简单的例子来解说PageRank的概念，再归结到使用超链接关系的排序系统来解决大规模疏松疏矩阵的特性值的问题。然后我们会接触一些在现实世界中应用基本模型时出现的问题和对应方法。接下来，为了探讨是否能够作为「个人化PageRank」使用，进行对免费全文检索系统 Namazu 的安装实验并对其结果进行阐述。最后发表我对 PageRank的个人见解。

另外，为了能够理解以下的说明内容，需要大学基础课程程度的数学知识(尤其是线形代数)。然而为使文科生也能够顺利读下去，尽可能地不用算式来说明问题，同时，为了加入笔者个人的见解，没有加入像原文那么多的算法和数字，也存在许多不够严密和欠正确的地方，事先在次声明。具体内容请参照原文。

PageRank^(TM) 是美国 Google公司的登记注册商标。

2. PageRank 的基本概念

PageRank是基于「从许多优质的网页链接过来的网页，必定还是优质网页」的回归关系，来判定所有网页的重要性。

在以下冗长的说明中，许多部分大量地使用了专业用语，会造成理解上的困难。这一章虽然准备集中于定性而简单的解说,但是，即使如此也会有怎么也不明白的时候，此时只要能够理解「从许多优质的网页链接过来的网页，必定还是优质网页」这一思考方法也就非常得可贵了。因为在所有几个要点中，这个是最重要的思考方法。

来自于 Google 自己的介绍「Google的受欢迎的秘密(http://www.google.co.jp/intl/ja/why_use.html)」 是象以下一样解说的。

关于PageRank 
    PageRank，有效地利用了Web所拥有的庞大链接构造的特性。从网页A导向网页B的链接被看作是对页面A对页面B的支持投票，Google根据这个投票数来判断页面的重要性。可是Google不单单只看投票数(即链接数)，对投票的页面也进行分析。「重要性」高的页面所投的票的评价会更高，因为接受这个投票页面会被理解为「重要的物品」。
    根据这样的分析,得到了高评价的重要页面会被给予较高的Page Rank(网页等级)，在检索结果内的名次也会提高。PageRank 是 Google中表示网页重要性的综合性指标，而且不会受到各种检索(引擎)的影响。倒不如说，PageRank就是基于对"使用复杂的算法而得到的链接构造"的分析，从而得出的各网页本身的特性。
    当然，重要性高的页面如果和检索词句没有关联同样也没有任何意义。为此Google 使用了精练后的文本匹配技术，使得能够检索出重要而且正确的页面。

通过下面的图我们来具体地看一下刚才所阐述的算法。具体的算法是，将某个页面的PageRank 除以存在于这个页面的正向链接,由此得到的值分别和正向链接所指向的页面的 PageRank相加，即得到了被链接的页面的 PageRank。

让我们详细地看一下。提高 PageRank 的要点，大致有3个。

• 反向链接数(单纯的意义上的受欢迎度指标)
• 反向链接是否来自推荐度高的页面 (有根据的受欢迎指标)
• 反向链接源页面的链接数 (被选中的几率指标)

首先最基本的是，被许多页面链接会使得推荐度提高。也就是说「(被许多页面链接的)受欢迎的页面，必定是优质的页面」。所以以反向链接数作为受欢迎度的一个指标是很自然的想法。这是因为，“链接”是一种被看作「可以看看这个页面/这个页会有用」的推荐行为。但是，值得骄傲的是PageRank 的思考方法并没有停留在这个地方。

也就是说，不仅仅是通过反向链接数的多少，还给推荐度较高页面的反向链接以较高的评价。同时，对来自总链接数少页面的链接给予较高的评价，而来自总链接数多的页面的链接给予较低的评价。换句话说「(汇集着许多推荐的)好的页面所推荐的页面，必定也是同样好的页面」和「与感觉在被胡乱链接的链接相比，被少数挑选出的链接肯定是优质的链接」这两种判断同时进行着。一方面，来自他人高水平网页的正规链接将会被明确重视，另一方面，来自张贴有完全没有关联性的类似于书签的网页的链接会作为「几乎没有什么价值(虽然比起不被链接来说好一些)」而被轻视。

因此，如果从类似于 Yahoo! 那样的 PageRank非常高的站点被链接的话，仅此网页的 PageRank也会一下子上升；相反地，无论有多少反向链接数，如果全都是从那些没有多大意义的页面链接过来的话，PageRank也不会轻易上升。不仅是 Yahoo!, 在某个领域中可以被称为是有权威的(或者说固定的)页面来的反向链接是非常有益的。但是，只是一个劲地在自己一些同伴之间制作的链接，比如像「单纯的内部照顾」这样的做法很难看出有什么价值。也就是说，从注目于全世界所有网页的视点来判断(你的网页)是否真正具有价值。

综合性地分析这些指标，最终形成了将评价较高的页面显示在检索结果的相对靠前处的搜索结构。

以往的做法只是单纯地使用反向链接数来评价页面的重要性，但PageRank 所采用方式的优点是能够不受机械生成的链接的影响。 也就是说，为了提高 PageRank需要有优质页面的反向链接。 譬如如果委托Yahoo! 登陆自己的网站，就会使得 PageRank骤然上升。但是为此必须致力于制作(网页的)充实的内容。这样一来，就使得基本上没有提高 PageRank的近路(或后门)。不只限于PageRank (Clever 和 HITS 等也同样)，在利用链接构造的排序系统中，以前单纯的 SPAM手法将不再通用。这是最大的一个优点，也是 Google 方便于使用的最大理由。(虽然是最大的理由,但并不是唯一的理由。)

在这里请注意，PageRank 自身是由 Google定量，而与用户检索内容的表达式完全无关。就像后边即将阐述的一样，检索语句不会呈现在 PageRank自己的计算式上。不管得到多少的检索语句，PageRank 也是一定的、文件固有的评分量。

PageRank的定性说明大致就是这样一些。但是，为了实际计算排列次序、比较等级，需要更定量性的讨论。以下一章将做详细的说明。

3.怎样求得 PageRank

PageRank的行列阵是把这个邻接行列倒置后(行和列互换)，为了将各列(column)矢量的总和变成 1 (全概率),把各个列矢量除以各自的链接数(非零要素数)。这样作成的行列被称为「推移概率行列」，含有 N个概率变量，各个行矢量表示状态之间的推移概率。倒置的理由是，PageRank并非重视「链接到多少地方」而是重视「被多少地方链接」。

PageRank的计算，就是求属于这个推移概率行列最大特性值的固有矢量(优固有矢量)。

这是因为，当线性变换系 t→∞渐近时，我们能够根据变换行列的"绝对价值最大的特性值"和"属于它的固有矢量"将其从根本上记述下来。换句话说，用推移概率行列表示的概率过程，是反复对这个行列进行乘法运算的一个过程，并且能够计算出前方状态的概率。

再者，虽然听起来很难,但是求特性值和固有矢量的值是能够严密分析的一种基础的数学手段。我们能够自由地给矢量的初始值赋值，但是因为不断地将行列相乘，得到的矢量却会集中在一些特定数值的组合中。我们把那些稳定的数值的组合称为固有矢量，把固有矢量中特征性的标量(scalar)称为特性值，把这样的计算方法总称为分解特性值，把解特性值的问题称为特性值问题。

(*注) 对 N 次的正方行列 A 把满足 Ax =λx 的数 λ 称为 A的特性值，称 x 为属于 λ 的固有矢量。如果你怎么也不能适应行列的概念的话，你也可以考虑 N×N的二元排列就可以了。同时，也可以把矢量考虑成为长度为 N 的普通的(一元)排列就可以了。

简单的例子

让我们用简单的例子来试着逐次计算 PageRank。首先考虑一下有像下图表示那样的链接关系的7个HTML文件。并且，这些HTML文件间的链接关系只是闭合于这1-7的文件中。也就是说，除了这些文档以外没有其他任何链接的出入。另外请注意，所有的页面都有正向和反向链接(即没有终点)，这也是后面将提出的一个重要假定,在此暂且不深入探讨。

实际地试着计算一下PageRank的收支。因为λ=1所以计算很简单，只要将自各页的流入量单纯相加即可。譬如 ID=1的流入量为，

流入量＝(ID=2发出的Rank)+(ID=3发出的Rank)+(ID=5发出的Rank)+(ID=6发出的Rank)
    = 0.166+0.141/2+0.179/4+0.045/2
    = 0.30375

在误差范围内PageRank的收支相符合。其他页面ID的情况也一样。以上的PageRank推移图正表示了这个收支。沿着各自的链接发出的PageRank等于此页面原有的PageRank除以发出链接数的值，而且和各自的页面的PageRank收支相平衡。

不过，这样绝妙均衡的本身，对理解线形代数的人来说当然不会是让人惊讶的事情。因为这正是「特性值和固有矢量的性质」，总之这样被选的数值的组就是固有矢量。但即使是这样，实际试着确认一下的话，已经能够很好地使用PageRank的方法来考虑了。

以上就是 PageRank 的基本原理。 Google做的就是大规模地处理这样的非常特性值问题。

 

4.实际应用时的问题

PageRank的基本考虑方法并不是很难的东西。实用效果中的巨大成分并不是复杂离奇的算法，而是进行简单的线性变换，倒不如都属于简明直观的类别吧。但是，实际使用Web 超级链接构造来计算 PageRank的话，不是简单地能够用嘴巴来说明的东西。主要的困难主要有二个。一、由来于纯粹假设的数值模型和现实世界的不同；二，在实际数值计算上(专门技术的)困难。

准备:数学用语(主要概率过程)的解说

推移概率行列和概率过程上的马尔可夫过程存在很深的关系。本章先离开与PageRank本身的说明，预先说明几个呈现在概率过程上的数学用语。因为会设计相当难的部分，如果不能够理解也可以跳过这里。(也可能是我的说明方法不好)同时，请注意这里几乎没有证明就直接使用了。详细的解说请阅读教科书。

从有向图表S的状态 i 出发，将有限时间之后再次回复到状态 i 的概率作为 1时，也就是说，当沿着(有向)图表的方向前进能够回到原来位置的路径存在的时候，i就被成为「回归」。不能回归的状态被称为「非回归」。从状态 i 出发，当通过有限次数的推移达到状态 j的概率非负的时候，我们就说「从状态 i 到达状态 j 是可能的」。当反方向也可能到达的时候，我们称「i 和 j 互相可能到达」。从状态i 不能到达其他任何状态的时候，称 i 为「吸收状态」。

从邻接行列 A所决定的图表(graph)的任意顶点出发，指向其他任意的顶点图表的路径能够像箭头那样到达时被称为「强联结」(也被称为「分解不能」)。强联结，等价于从任意状态到任意状态可以互相到达。邻接行列 A 的成分中有很多 0时，强联结性就会有问题。注意，如果全部成分都为a_ij ≠0 的话，则都属于强联结。因为，对应的马尔可夫链的样本路径表示 S 的任意两点间以正的概率来往通行。

我们可以把全体状态以等价类(或者回归类)来划分。在这里，回归类是指链接所围成的范围。属于一个等价类的状态可以互相到达。从一个类出发以正的概率进入到其他的类的可能性也是存在的。可是很明显，在这种情况下不可能回复到原来的类。不然的话，这两个类就归于等价类了。下图表示了，当T 作为非回归性的等价类、R作为回归性等价类时,虽然存在 马尔可夫链 既不来自回归类，也不来自非回归类的情况，但如果一旦来自前两者的话，就不再会回到非回归类中了。

这个等价关系中只有一个回归类的时候，那个马尔可夫链就被称为「最简」。换句话说，全部的状态之间互相可以到达时就被称为最简。最简时都是强联结。

互相完全没有关联的邻接行列(或推移概率行列)，乘以恰当的置换行列(掉换行和列)以后得到

P = | P1 0 |
    | 0 P2 |

这样的关系。这表示回归类 P1 和 P2 间完全不存在直接的链接关系。

回归类、非回归类掺杂在一起的邻接行列(或推移概率行列)，乘以恰当的置换行列后得到，

P = | P1 0 | 
    | Q P2 |

这样的关系(Q≠0)。此时，P1是非回归类，P2是回归类。

推移概率行列有时也被称作马尔可夫行列。称马尔可夫过程的试验行列的观测结果为马尔可夫链(Markovchain)。当经过相当的时间后马尔可夫链会趋向某种平衡状态。对任意的状态 i, 如果 j 是非回归状态，则P_ij⁽ⁿ⁾→0。相反，当 i 为非回归、j 为回归时，停留在状态 i上着的概率是0。如果 i，j属于同样的非周期性回归类的话，P_ij⁽ⁿ⁾→P_j≥0。

定理:若 P 是有限马尔可夫行列的话，P 的特性值 1 的重复度等于 P决定的回归类的数目。(证明太长，省略)。

跟随着推移概率行列的有向图表的最大强联结成分(与之对应的状态的集合)被称为Ergodic部分(历遍部分)，此外的强联结成分被称为消散部分。因为无论从怎样的初期状态概率x⁽⁰⁾开始，经过时间 n 后x⁽ⁿ⁾ =P⁽ⁿ⁾x⁽⁰⁾，所以属于消散部分的状态概率几乎接近于0。关于EllGoth部分，连同与各联结成分对应状态的类、像独立的最简的马尔可夫链一样行动，其中，各类中的状态概率(即从过去开始的平均值)的值和初期状态概率无关，换言之，是近似于与对应P 的最简成分的固有矢量成比例的东西。在类之间概率的分配依存于初期状态的概率。

离散时间型马尔可夫链的不变分布是属于极限分布，从那个分布开始已经不是在分布意义上的随时间的变化了。状态的概率分布在时间变化时也不会变化时被称为固定分布。PageRank用马尔可夫过程来说就是，PageRank就是以一定时间内用户随机地沿着(网页)链接前进时对各个页面访问的固定分布。

假想模型和现实世界的不同

那么，让我们将概率过程(即图表原理)的考虑方法和实际的网页链接构造合起来看一看。

对于刚才举例的假想网页群来说，只要相互顺着链接前进则在彼此页面间必定有相互链接的关系。即，有向图表是强联结的行列既是回归又是最简。像上面举的很多的概率过程的教科书一样，许多证明都是把回归和最简作为前提来证明的，如果是最简的话，各种各样的性质就变得容易说了。

但是现实的网页并不是强联结。也就是说邻接行列不是最简的。具体来说，顺着链接前进的话，有时会走到完全没有向外链接的网页。通常这样的情况，只有利用web 浏览器的「返回」功能了。如果人们只是浏览而已的话，一切就到此结束了，然而 PageRank的计算却不能到此结束。因为PageRank 一旦被引入以后是不能返回的。Pagerank 称这种页面为为「danglingpage」。同样道理，只有向外的链接而没有反向链接的页面也是存在的。但 Pagerank 并不考虑这样的页面,因为没有流入的PageRank 而只流出的 PageRank，从对称性来考虑的话必定是很奇怪的。

同时，有时候也有链接只在一个集合内部旋转而不向外界链接的现象。这是非周期性的回归类多重存在时可能出现的问题。(请读者考虑一下陷入上图中一个R 中而不能移动到别的 R 和 T 的情况)。 Pagerank 称之为「ranksink」。在现实中的页面，无论怎样顺着链接前进，仅仅顺着链接是绝对不能进入的页面群总归存在，也就是说，这些页面群是从互相没有关联的多数的同值类(回归类)形成的。

总之，由现实的 Web页组成的推移概率行列大部分都不是最简的。当不是最简时，最大特性值(即1)是重复的，并且不能避免优固有矢量多数存在的问题。换句话说，PageRank并不是从一个意义上来决定的。

在此，Pagerank为了解决这样的问题，考虑了一种「用户虽然在许多场合都顺着当前页面中的链接前进,但时常会跳跃到完全无关的页面里」,这样的浏览模型。再者，将「时常」固定为15％ 来计算。用户在 85％ 的情况下沿着链接前进,但在 15％ 的情况下会突然跳跃到无关的页面中去。(注:Pagerank的原始手法是各自87％(＝1/1.15 )和13％(＝0.15/1.15)。)

将此用算式来表示的话得到以下公式。

M'= c*M +(1-c)*[1/N]

其中，[1/N]是所有要素为 1/N 的 N次正方行列，c=0.85(=1-0.15)。M'当然也同样是推移概率行列了。也就是说，根据 Pagerank 的变形，原先求行列 M的特性值问题变成了求行列 M'的优固有矢量特性值问题。M是固定无记忆信息源(i.i.d.)时，M'被称为「混合信息源」，这也就是固定但非ellGoth信息源的典型例子。

如果从数学角度看，「把非最简的推移行列最简化」操作的另外一种说法就是「把不是强联结的图表变成强联结」的变换操作。所谓对全部的要素都考虑0.15的迁移概率，就是意味着将原本非最简的推移概率行列转换为最简并回归的（当然非负的情况也存在）推移概率行列。针对原本的推移概率行列，进行这样的变换操作的话，就能从一个意义上定义PageRank、也就是说能保证最大特性值的重复度为1。如果考虑了这样的变换操作的话，因为推移概率行列的回归类的数目变成 1的同时也最简化，根据前面的定理，优固有矢量(即 PageRank)就被从一个意义上定义了。

数值计算上的问题点(其1)

在此，只要大概明白 PageRank的概念就可以了，不需要很深的陷入数值计算上的技术的问题中(其实，笔者自己即使有自信也说不清楚)。但是，因为特性值分析和联立一次方程式分析一样，是利用在各种的统计分析中重要的数值计算手法的一中，所以这里我们简单的触及一些分析方法。

主记忆领域的问题是在数值计算上的问题之一。

假设 N 是10⁴ 的order。通常，数值计算程序内部行列和矢量是用双精度记录的，N 次正方行列 A 的记忆领域为 sizeof(double)* N *N =8 *10⁴ *10⁴＝800MB。 800MB 的主记忆领域不是那种经常会拥有的东西,虽然这么说也非那种不可能的数字。但是，N 如果变成10⁵ 或10⁶ 的话，各自就变成80GB,8TB。这样的话不用说内存就连硬盘也已经很困难了。Google 从处理着10亿以上的页面(2001年时)以来，就知道这种规矩的做法已经完全不适用了。

不过，A只是稀疏(sparse)行列。因为即使有一部分的页面拼命地进行链接，但是向整个Web展开链接的页面是没有的，即使有也是极为稀少的。平均一下，每一张页面有10-20个左右的链接(根据IBM Almaden 研究所'Graph structure inthe web' 的统计，平均在16.1个左右)。因此，我们可以采用恰当的压缩方法来压缩 A 。 N 即使是10⁶ 时，如果平均链接数是10，最终的记忆领域只要80MB，从规模上来说可以收纳到合理的数字里。

稀疏行列的容纳方式当今已经被充分地研究(有限要素法的解法等)，在恰当的数值计算的专业书中就可以学到。虽然这么说，因为相当地难解还是需要很复杂的手法。但想指出的是如果可以很好的解决的话，并列化的高速计算(也许)就变得可能了。因为比起怎样排列并容纳非零要素来说，计算性能和并列性能对其的影响会更大。

数值计算上的问题点(其2)

另一个是收敛问题。

固定方程式

xⁱ＝ΣA_ijx_i

是 N元的联立一次方程式，一般地不能得到分析解，所以只能解其数值。刚才举的例子中为了求特性值和固有矢量，使用了 Octave 的eig()函数, 不过，这个在问题小的时候不能适用。说起来，并不需要计算全部的特性值/固有矢量。

求最大特性值和属于它的固有矢量(优固有矢量)的数值计算手法中，一般使用「幂乘法」(也叫反复法)。这是指，取适当初期矢量x⁰ ，当x⁽ⁿ⁺¹⁾ = Ay⁽ⁿ⁾ (其中y⁽ⁿ⁾ =x⁽ⁿ⁾ /c⁽ⁿ⁾ )中的 n →∞ 时，x向拥有最大特性值的固有矢量收敛的同时 c向此最大特性值收敛的利用线形代数性质的计算方法(证明请参照线形代数的教科书)。幂乘法(反复法)的特长与逐次反复计算的近似法比，能够改善解矢量的问题。它的优点是，因为只要反复对行列和矢量进行适当次数的乘法运算，所以只要通过程序就能够简单地解决，并且还可以进行由于受到内存和硬盘的限制通过直接法不能解决的大规模分析。这是许多的实用算法的出发点。

在这里，请注意从线形代数的简单定理(Peron-Frobenius定理)得到推移概率行列的绝对价值的最大特性值是1。如果采用了这个，就会使得反复法的PageRank 的计算变得更容易。即，因为最大特性值是既知的，比起求满足 Ax=x 的矢量x来说，变成更加简单的问题了。这虽然是很细小的地方但是很重要。首先，可以去掉比较花费成本的除法计算(y⁽ⁿ⁾=x⁽ⁿ⁾/c⁽ⁿ⁾)不用完成。如果是反复法的话，不能得到很高的精确度，并且如果搞错了加速方法的话，计算出的不是是最大特性值而是第二大特性值和属于它的固有矢量(虽然这种情况很少，但是说不定就是从根本上错误的值)。但如果知道了最大特性值，就可以进行核对了。在Pagerank 的第一篇论文中他们似乎没有注意到这个事情,但在 Haveliwala 的第二论文中增加了关于此的修正。

反复的次数取决于想要求的精度。也就是说，想要求的精度越高，反复的次数就越多。可是，幂乘法(反复法)的误差的收敛比与系数行列的谱段特性(特性值的绝对值分布)有很强的依存关系。具体地说，绝对值最大的特性值用λ₁表示，第二位用λ₂ 表示，优越率(收敛率 probabilityof dominance)为 d=λ₁/λ₂ 话，可以知道d离1越近收敛就变得越慢。在N 很大的情况时d当然离1很近。这是因为，绝对值最大的特性值是1，而其他所有的 N-1个特性值的绝对值都比1小。但是，N-1个特性值之间非常的拥挤，所以λ₁和λ₂ 之间几乎没有差别。因此一般来说，收敛会变慢。

所谓收敛变慢，严密地说，就是无论经过多少时间也完成不了的计算。对此，为了使收敛加快的适当的加速方法也是存在的，应用这些方法时，需要对数值计算技术有十二分的理解，因此如果不是数值计算的专家就很难引入。