搜索引擎的数学原理

引言

网络资源丰富异常，没有你想不到的，只有你找不到的。查找往往要借助于搜索引擎。建立一个搜索引擎大致需要做这样几件事：自动下载尽可能多的网页；建立快速的索引；根据相关性对网页进行公平准确的排序。本篇博客是吴军的《数学之美》部分文章的读书笔记，从数学原理的角度谈谈搜索引擎是如何工作的。

下载网页与图论

强大的搜索引擎需要遍历互联网上所有的网页（不然你永远也搜索不到这些网页），如何遍历所有，这就涉及到图论的知识。
一般认为，图论起源于著名古典数学问题：哥尼斯堡七桥问题。

图论中所讨论的图由一些节点和连接这些节点的弧组成。关于图的算法很多，但最重要的是图的遍历算法，也就是如何通过弧访问图的各个节点。
以中国公路网为例，我们从北京出发，看一看北京和哪些城市直接相连，比如说和天津、济南、石家庄、南京、沈阳、大同直接相连。我们可以依次访问这些城市，然后我们看看都有哪些城市和这些已经访问过的城市相连，比如说北戴河、秦皇岛与天津相连，青岛、烟台和济南相连，太原、郑州和石家庄相连等等，我们再一次访问北戴河这些城市，直到中国所有的城市都访问过一遍为止。这种图的遍历算法称为“广度优先算法”（BFS)，因为它先要尽可能广地访问每个节点所直接连接的其他节点。
另外还有一种策略是从北京出发，随便找到下一个要访问的城市，比如是济南，然后从济南出发到下一个城市，比如说南京，再访问从南京出发的城市，一直走到头。然后再往回找，看看中间是否有尚未访问的城市。这种方法叫“深度优先算法”（DFS)，因为它是一条路走到黑。
这两种方法都可以保证访问到全部的城市。当然，不论采用哪种方法，我们都应该用一个小本本，记录已经访问过的城市，以防同一个城市访问多次或者漏掉哪个城市。
互联网其实就是一张大图，把每个网页当作一个节点，超链接当作连接网页的弧。有了超链接，我们可以从任何一个网页出发，用图的遍历算法，自动地访问到每一个网页并把它们保存起来。完成这个功能的程序叫做网络爬虫（Web Crawler），或者称为“机器人”。
网络爬虫是如何下载整个互联网的呢？假定我们从一家门户网站的首页出发，先下载这个网页，然后通过分析这个网页，可以找到藏在它里面的所有超链接，也就是知道了这家门户网站首页所直接连接的全部网页，如雅虎邮件、雅虎财经等等。接下来访问、下载这家门户网站的邮件等网页，又能找到其他相连的网页。我们让计算机不停地做下去，就能下载整个互联网。当然，我们也要记载哪些网页下载过了，以免重复。在网络爬虫中，我们使用一个称为哈希表的列表 而不是一个记事本记录网页是否下载过。

快速索引与布尔代数

布尔代数简单得不能再简单了。运算的元素只有两个，1（TRUE，真）和0（FALSE，假）。基本的运算只有“与”（AND）、“或”（OR）和“非”（NOT）三种（后来发现，这三种运算都可以转换成“与非”AND-NOT一种运算）。
如果AND运算的两个元素有一个为0，结果为0，两个元素都为1，结果为1；如果OR运算的两个元素有一个为1，结果为1，两个元素都为0，结果为0；NOT元素把1变成0，把0变成1。
这么简单的理论能解决什么实际问题？我们看看网页检索与布尔运算的关系。对于用户输入的关键词，搜索引擎要判断每个网页是否含有这个关键词，如果一个网页含有它，我们给这个网页一个逻辑值–真(TRUE，或1)，否则，给一个逻辑值–假(FALSE，或0)。
显然不能等用户搜索关键词的时候，才将网络爬虫下载的所有网页遍历一遍，看是否包含关键词，那样就太慢了，我们需要建立一个索引。
最简单的索引结构是用一个很长的二进制数表示一个关键字是否出现在每个网页中。有多少网页，就有多少位数，每一位对应一个网页，1代表相应的网页有这个关键字，0 代表没有。比如关键字“原子能”对应的二进制数是010010000110000…，表示第二、第五、第九、第十网页包含这个关键词。注意，这个二进制数非常之长。要找到同时包含“原子能”和“应用”的网页。只需要将对应的两个二进制数进行布尔运算AND。
计算机做布尔运算是非常非常快的。现在最便宜的微机都可以一次进行三十二位布尔运算，一秒钟进行十亿次以上。
搜索引擎的索引变成了一张大表：表的每一行对应一个关键词，而每一个关键词后面跟着一组数字，是包含该关键词的网页序号。互联网的网页数量是巨大的，网络中所用的词也非常非常多。因此这个索引是巨大的，在万亿字节这个量级。
现在，为了保证对任何搜索都能提供相关的网页，所有的搜索引擎都是对所有的词进行索引。为了网页排名方便，索引中还需存在有大量附加信息，诸如每个词的位置、次数等。因此，整个索引非常之大，以至于不可能用一台计算机存下。
普遍的做法是根据网页的序号将索引分成很多份（Shards），分别存储在不同的服务器中。每当接受一个查询时，这个查询就被分送到许许多多服务器中，这些服务器同时并行处理用户请求，并把结果送到主服务器进行合并处理，最后将结果返回给用户。

网页排序和TF/IDF

现在任何一个搜索引擎都包含几十万甚至是上百万个多少有点关系的网页。那么哪个应该排在前面呢？显然我们应该根据网页和查询的相关性对网页进行排序。因此，这里的关键问题是如何度量网页和查询的相关性。
比如搜索“原子能的应用”，短语“原子能的应用”可以分成三个关键词：原子能、的、应用。根据直觉，包含这三个词多的网页应该比包含它们少的网页相关。当然，这个办法有一个明显的漏洞，就是长的网页比短的网页占便宜，因为长的网页总的来讲包含的关键词要多些。因此需要根据网页的长度，对关键词的次数进行归一化，也就是用关键词次数除以网页的总词数。这个商称为”关键词的频率”，或者”单文本词汇频率”(Term Frequency)。比如，在某个一共有一千个词的网页中“原子能”、“的”、“应用”分别出现了2次、35次和5次，那么它们的词频就分别是0.002、0.035和0.005。这三个数的和0.042就是相应网页和查询“原子能的应用”的相关性的一个简单度量。
概括地讲，如果一个查询包含关键词$w_1，w_2，...，w_N$，它们在一篇特定网页中的词频分别是 TF1，TF2，...