python 搜索引擎 词位置加权_百度排名算法之词频位置加权统计法

词频位置加权统计法可称作向量空间模型中相似度的计算过程，一部分搜索引擎都以查询词在文档中的词频和位置作为文档权值的判定依据，利用词频位置加权算法来衡量文档的相关度。

某个词在网页或者文档中出现的次数越多，它所能代表文档主题内容的能力就越强，其作为索引项的代表性也就越强获得的权值就会比较大。当它与查询词进行对照时，它索引的文档与搜索请求的相关度的值就越大。词频不能完全代表该算法的精髓，某一个词出现在文档中的位置也影响主题词的产生，同时也会影响词的权值的计算。

网页的位置结构大概包含以下几种：链接地址标签、标题标签、Meta 关键词标签，在这些位置选词并按词频计算权值时，主题词的位置是在文章前几段、文章标题、段首等位置时，它的权值就会相对较大，大部分搜索引擎在计算相关度时采用词频位置加权算法，然而在实现细节上会有很多不同。

在计算某一个文档的相关度时，词与词之间的关系和词间的相对位置也是一个需要参考的重要因素之一，网页中词与词之间的位置越近则会显示在排序结果的前面。

一个比较准确的方法就是采用词频和词位置计算相关度的算法，它被普遍的应用在搜索引擎当中，也是发展比较成型的算法，许多搜索引擎将它作为计算文档相关度排序的基础。

然而这种算法的一个缺陷比较容易被人利用，例如网页编辑者可以把当前比较热门的关键词也有意的编到网页当中，这样可以在搜索引擎中获得很好的排名。不仅没有客观性而且准确性也受到很大影响，用户的利益也受到了损害。超链分析算法恰恰能避免这样的缺点，它是计算相关度的另一种重要的方法。