数学之美——第八章摘要（布尔代数和搜索引擎）

1. 介绍搜索，从索引出发
2. 德国的数学家莱布尼兹完善了二进制，用0和1表示它的两个数字，成为今天使用的二进制
3. 布尔代数十分简单，运算元素只有1（TRUE，真）和0（FALSE，假），基本运算只有与（AND）、或（OR）、非（NOT）三种，后来发现都可以转换成与非（AND-NOT）一种运算
4. 什么是搜索引擎：好的回答是拿图书馆的索引卡片做类比。每个网站就像图书馆里的一本书，我们不可能在图书馆书架上一本本地找，而是要通过搜索卡片找到它的位置，然后直接去书架上拿。
5. 图书馆的索引卡片当然无法进行复杂的逻辑运算。但是，当信息检索进入计算机时代后，图书的索引便不再是卡片，而是基于数据库的。数据库的查询语句( SQL)支持各种复杂的逻辑组合，但是背后的基本原理是基于布尔运算的，至今如此。
6. 最简单的索引结构是用一个很长的二进制数，表示一个关键字是否出现在每篇文献中。有多少篇文献，就有多少位数，每一位对应一篇文献， 1代表相应的文献有这个关键字，0代表没有。
7. 比如关键字“原子能”对应的二进制数是0100100011000001…表示第二、第五、第九、第十、第十六篇文献包含这个关键字。上述过程其实就是将一篇千差万别的文本进行量子化的过程。注意，这个二进制数非常之长。同样，假定“应用”对应的二进制数是0010100110000001…那么要找到同时包含“原子能”和“应用”的文献时，只要将这两个二进制数进行布尔运算AND。根据上面的真值表，可知结果为0000100000000001…表示第五篇、第十六篇文献满足要求。
8. 由于这些二进制数中的绝大部分位数都是零，只需要记录那些等于1的位数即可。于是，搜索引擎的索引就变成了一张大表:表的每一行对应一个关键词，而每一个关键词后面跟着一组数字，是包含该关键词的文献序号。
9. 假如互联网上有100亿³( 10¹⁰)个有意义的网页，而词汇表的大小是30万(也是保守估计的数字)，那么这个索引的大小至少是100亿x30万= 3 000万亿。考虑到大多数词只出现在一部分文本中，压缩比为100 : 1，也是30万亿的量级。为了网页排名方便，索引中还需存有大量附加信息，诸如每个词出现的位置、次数，等等。
10. 显然，这不是一台服务器的内存能够存下的。所以，这些索引需要通过分布式的方式存储到不同的服务器上。普遍的做法就是根据网页的序号将索引分成很多份(Shards)，分别存储在不同的服务器中。每当接受一个查询时，这个查询就被分发到许许多多的服务器中，这些服务器同时并行处理用户请求，并把结果送到主服务器进行合并处理，最后将结果返回给用户。
11. 因此，需要根据网页的重要性、质量和访问的频率建立常用和非常用等不同级别的索引。常用的索引需要访问速度快，附加信息多，更新也要快;而非常用的要求就低多了。但是不论搜索引擎的索引在工程上如何复杂，原理上依然非常简单，即等价于布尔运算。