信息检索笔记-索引构建

       如何构建倒排索引，我们将这个过程叫做“索引构建”。如果我们的文档很多，这样索引就一次性装不下内存，该如何构建。

硬件的限制

    我们知道ram读写是随机的操作，只要输入相应的地址单元就能瞬间将数据读出来或者写进去。但是磁盘不行，磁盘必须有一个寻道的过程，外加一个旋转时间。那么只有涉及到磁盘，我们就可以考虑怎么节省I/O操作时间。

【注】操作系统往往以数据块为单位进行读写。因为读一个字节和读一个数据库所耗费的时间可能一样多。

基于块的排序索引方法（BSBI）

     通常建立一个倒排索引：我们需要扫描一遍文档得到所有词项-文档ID对；然后分别以词项为主键、文档ID为此次键进行排序；最后我们可能还要统计文档频率和词项频率。对于小文档来说，这一过程在内存中完成是没有问题的，但是对于文档集合较大的，可能在内存中无法进行。

     BSBI第一步，在搜集词项的时候将其映射为ID（为什么映射为ID，提高效率）。

     BSBI