线性索引查找

零、引言

索引就是把一个关键字与它对应的记录相关联的过程。

一个索引由若干个索引项构成，每个索引项至少应包含关键字和其对应的记录在存储器中的位置等信息。

索引技术是组织大型数据库以及磁盘文件的一种重要技术。索引按照结构可以分为线性索引、树形索引和多级索引。下面介绍的是线性索引技术。所谓线性索引就是将索引项集合组织为线性结构，也称为索引表。主要有三种基本的线索索引：稠密索引、分块索引和倒排索引。

一、稠密索引

稠密索引是指在线性索引中，将数据集中的每个记录对应一个索引项，如下图所示：

当我们需要查找一个关键码在内存中的位置时，就在索引项中查找关键字以获得地址。所以索引项中的关键字必须要具备某种特征使得我们能更快的找到，即一般索引项是按照关键码有序的排列。也就意味着，我们要查找关键字时，可以用到折半、插值、斐波那契等有序查找法来提高效率。

例如在上图，我们要查找18，在右侧中要查找6次而在左侧中只需两次折半的查找。

显然稠密索引优点是明显的，但是如果数据量非常大，1e8数量级以上，那也就意味着索引同样也有很大的规模，对于内存有限的计算机来说，可能就需要反复去访问磁盘，查找性能反而大大下降了。

二、分块索引

稠密索引因为索引项与数据集的记录个数相同，所以空间代价很大。为了减少索引项的个数，我们可以对数据集进行分块，使其分块有序，然后再对每一块建立一个索引项，从而减少索引项的个数。

分块有序，是把数据集的记录分成了若干块，并且这些块需要满足两个条件：

1.块间有序，例如，要求第二块所有记录的关键字均要大于第一块中所有记录的关键字，第三块的所有记录的关键字均要大于第二块的所有记录关键字。因为只有块间有序，才有可能在查找时带来效率。

2.块内无序，即每一块内的记录不要求有序。当然，如果能做到有序对查找来说是有益的，但做到有序需要耗费时间或者空间（非线性），因此我们通常不要求块内有序。

对于分块有序的数据集，将每块对应一个索引项，这种索引方法就叫做分块索引。一般定义分块的索引项结构分三个数据项：

1.最大关键码，它存储每一块中的最大关键字；

2.存储了块中的记录个数，以便于循环使用；

3.用于指向块首数据元素的指针，便于开始对这一块中记录进行遍历。

如下图所示：

在分块索引表中查找，就是分两步进行：

1、在分块索引表中查找要查关键字所在的块。由于分块索引表是块间有序的，因此很容易利用折半、插值等算法得到结果。比如我们要查找77，由索引表知57<77<96得到77在第三个块中。

2、根据块首指针找到相应的块，并在块中顺序查找关键码。因为块中可以是无序的，因此只能顺序查找。

分块思想在生活中也很常见，例如书架上书的分类。会有一些人每一层放一类的书，第一层文学类，第二层专业类，第三层珍藏类……

下面分析分块索引的平均查找长度(Average Search Length)。设n个记录平均分成m块，每块中有t条记录，显然n=m*t。

在索引表中平均查找长度Lb=(m+1)/2,在块中的平均查找长度为Lw=(t+1)/2。（最好与最差等概率原则）

总的分块索引查找的平均长度为：ASL=Lb+Lw=(n/t+t)/2+1

从式中我们可以知道ASL取决于n和t两个变量;

最佳的情况：n=t^2,即ASL=t+1=n^(1/2)+1.

可见，分块索引的效率比顺序查找的O(n)是高了不少，但相比O(logn)还是有不少差距。因此在确定所在块的过程中，由于块间有序，所以可以应用折半、插值等手段来提高效率。

三、倒排索引

有时候我们搜索一个内容，可能不是具体哪一个而是与某些关键字相关的内容，例如常用的baidu,google等。

倒排索引就是最基础的搜索技术。

例如下面有两句话：

1.Books and friends should be few but good.

2.A good book is a good friend.

忽略掉其中单词复数的s以及大小写差异，可以整理出一个这样的单词表：

words	number
a	2
and	1
be	1
book	1、2
but	1
few	1
friend	1、2
good	1、2
is	2
should	1

number指示了该word在哪句话中出现过。

有这样一张表，在搜索想要的内容时就方便了许多。比如在搜索框中填写"book",找到该word后，返回1,2文章的地址，即查到了两条记录。由于单词表是可以有序的（比如字典序），这样查找效率就很高，返回的又只是文章的编号，速度就相对较快。

这张单词表就是索引表，索引项的通用结构是：

1.次关键码，例如上表中的words

2.记录号表，例如上面的number

其中记录号表存储具有相同次关键字的所有记录的记录号（可以是指向记录的指针或者是该记录的主关键字）。这样的索引方法就是倒排索引（inverted index）。倒排索引源于实际应用中需要根据属性（或字段、次关键码）的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引。

倒排索引的优点显然就是查找记录非常快，基本等于生成索引表后，查找时都不用去读取记录，就可以得到结果。但它的缺点是记录号不定长，每个属性可能对应过多的记录号，插入和删除时都需要作相应的处理。

现实中的搜索技术非常复杂，上面的三种索引方式是最基础的搜索方法，希望之后可以学习更多的方法，加油吧~