搜索引起的链接分析-计算网页的重要性



1. 链接分析 

      搜索引擎在查找能够满足用户请求的网页时，主要考虑两方面的因素：

        网页和查询的相关性：是用户发出的查询与网页内容的内容相似性得分。

        网页的重要性：通过链接分析方法计算获得的得分。

        搜索引擎融合两者，共同拟合出相似性评分函数，来对搜索结果进行排序。

        常见的链接分析算法除了鼎鼎有名的PageRank，还有HITS、SALSA、Hilltop以及主题PageRank等等。需要重点理解的是PageRank和HITS，后面这些算法都是以它们为基础的。

        绝大部分链接分析算法建立在两个概念模型，它们是：

        随机游走模型：针对浏览网页用户行为建立的抽象概念模型，用户上网过程中会不断打开链接，在相互有链接指向的网页之间跳转，这是直接跳转，如果某个页面包含的所有链接用户都不感兴趣则可能会在浏览器中输入另外的网址，这是远程跳转。该模型就是对一个直接跳转和远程跳转两种用户浏览行为进行抽象的概念模型；典型的使用该模型的算法是PageRank；
        子集传播模型：基本思想是把互联网网页按照一定规则划分，分为两个甚至是多个子集合。其中某个子集合具有特殊性质，很多算法从这个具有特殊性质的子集合出发，给予子集合内网页初始权值，之后根据这个特殊子集合内网页和其他网页的链接关系，按照一定方式将权值传递到其他网页。典型的使用该模型的算法有HITS和Hilltop算法。

 

2. 链接分析算法之间的关系： 

         

                                         图1 链接分析算法关系图：

          链接算法很多，但是从其概念模型来说，基本遵循上述小节介绍的随机游走模型和子集传播模型。而从图1中可看出，在众多算法中，PageRank和HITS算法可以说是最重要的两个具有代表性的链接分析算法，后续的很多链接分析算法都是在这两个算法基础上衍生出来的改进算法。