搜索与排名

一、搜索
1、爬虫
一般爬虫将网络视为一张图，对于图而言，常见的算法有两种：深度优先和广度优先
2、分词与索引
爬虫获取的一般都是文档，我们需要进行分词处理，处理之后，搜索引擎要完成从单词到文档的映射，一般采取倒排索引的方法。
二、排名
在获得了与查询条件相匹配的网页之后，排名是不可缺少的。
1、基于内容的排名
单词频度：一般而言，目标单词在文档中出现的次数越多，则相关性越高。
文档位置：文档的主题有可能会出现在靠近文档的开始处。
单词距离：如果查询中有多个单词，则它们在文档中出现的位置应该靠得更近。
2、基于链接
简单计数：统计每个网页上链接的数目，并将链接总数作为针对网页的度量。
PageRank：上一种方法中我们看到对于每一个链接，我们给予了相同的权重。在PageRank中，为每一个网页都赋予了一个指示网页重要程度的评价值。网页的重要程度是依据指向该网页的所有其他网页的重要性，以及这些网页中所包含的链接数求得的。
利用链接文本：这个方法是根据指向某一网页的链接文本来决定网页的相关程度。大多数时候，相比于被链接的网页自身所提供的信息而言，我们从指向该网页的链接中所得到信息会更有价值。
3、从点击行为中学习
构件一个人工神经网络，向其提供：查询条件中的单词，返回给用户的搜索结果，以及用户的点击决策，然后再对其加以训练。一旦网络经过了许多不同查询的训练之后，我们就可以利用它来改进搜索结果的排序，以更好的反映用户在过去一段时间里的实际点击情况。