数学之美——第八章摘要(布尔代数和搜索引擎)

第八章 简单之美 布尔代数和搜索引擎

  1. 介绍搜索,从索引出发
  2. 德国的数学家莱布尼兹完善了二进制,用0和1表示它的两个数字,成为今天使用的二进制
  3. 布尔代数十分简单,运算元素只有1(TRUE,真)0(FALSE,假),基本运算只有与(AND)、或(OR)、非(NOT)三种,后来发现都可以转换成与非(AND-NOT)一种运算
  4. 什么是搜索引擎:好的回答是拿图书馆的索引卡片做类比。每个网站就像图书馆里的一本书,我们不可能在图书馆书架上一本本地找,而是要通过搜索卡片找到它的位置,然后直接去书架上拿
  5. 图书馆的索引卡片当然无法进行复杂的逻辑运算。但是,当信息检索进入计算机时代后,图书的索引便不再是卡片,而是基于数据库的。数据库的查询语句( SQL)支持各种复杂的逻辑组合,但是背后的基本原理是基于布尔运算的,至今如此。
  6. 最简单的索引结构是用一个很长的二进制数,表示一个关键字是否出现在每篇文献中。有多少篇文献,就有多少位数,每一位对应一篇文献, 1代表相应的文献有这个关键字,0代表没有。
  7. 比如关键字“原子能”对应的二进制数是0100100011000001…表示第二、第五、第九、第十、第十六篇文献包含这个关键字。上述过程其实就是将一篇千差万别的文本进行量子化的过程。注意,这个二进制数非常之长。同样,假定“应用”对应的二进制数是0010100110000001…那么要找到同时包含“原子能”和“应用”的文献时,只要将这两个二进制数进行布尔运算AND。根据上面的真值表,可知结果为0000100000000001…表示第五篇、第十六篇文献满足要求。
  8. 由于这些二进制数中的绝大部分位数都是零,只需要记录那些等于1的位数即可。于是,搜索引擎的索引就变成了一张大表:表的每一行对应一个关键词,而每一个关键词后面跟着一组数字,是包含该关键词的文献序号。
  9. 假如互联网上有100亿3( 1010)个有意义的网页,而词汇表的大小是30万(也是保守估计的数字),那么这个索引的大小至少是100亿x30万= 3 000万亿。考虑到大多数词只出现在一部分文本中,压缩比为100 : 1,也是30万亿的量级。为了网页排名方便,索引中还需存有大量附加信息,诸如每个词出现的位置、次数,等等。
  10. 显然,这不是一台服务器的内存能够存下的。所以,这些索引需要通过分布式的方式存储到不同的服务器上。普遍的做法就是根据网页的序号将索引分成很多份(Shards),分别存储在不同的服务器中。每当接受一个查询时,这个查询就被分发到许许多多的服务器中,这些服务器同时并行处理用户请求,并把结果送到主服务器进行合并处理,最后将结果返回给用户。
  11. 因此,需要根据网页的重要性、质量和访问的频率建立常用和非常用等不同级别的索引。常用的索引需要访问速度快,附加信息多,更新也要快;而非常用的要求就低多了。但是不论搜索引擎的索引在工程上如何复杂,原理上依然非常简单,即等价于布尔运算。
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值