关于倒排索引

通常的存储方式：
一个未经处理的数据库中，一般是以文档ID作为索引，以文档内容作为记录。

搜索引擎通常检索的场景是：给定几个关键词，找出包含关键词的文档。
怎么快速找到包含某个关键词的文档就成为搜索的关键。这里我们借助单词——文档矩阵模型，
通过这个模型我们可以很方便知道某篇文档包含哪些关键词，某个关键词被哪些文档所包含。
单词-文档矩阵的具体数据结构可以是倒排索引、签名文件、后缀树等。

lucene是基于倒排索引实现的。

（英语：Inverted index） 特点适合快速的全文检索
一个倒排索引由文档中所有不重复词的列表构成，对于其中每个词，有一个包含它的文档列表。

也常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。
单词词典”和“倒排文件”
倒排文件

所有单词的倒排列表顺序的存储在磁盘的某个文件里，这个文件即被称为倒排文件，倒排文件是存储倒排索引的物理文件。
单词词典

单词词典是由文档集合中出现过的所有单词构成的字符串集合，单词词典内每条索引项记载单词本身的一些信息以及指向“倒排列表”的指针。
单词词典是倒排索引中非常重要的组成部分，它是用来维护文档集合中所有单词的相关信息，同时用来记载某个单词对应的倒排列表在倒排文件中的位置信息。在支持搜索时，根据用户的查询词，去单词词典里查询，就能够获得相应的倒排列表。
对于一个规模很大的文档集合来说，可能包含了几十万甚至上百万的不同单词，
快速定位某个单词直接决定搜索的响应速度，所以我们需要很高效的数据结构对单词词典进行构建和查找。
常用的数据结构包含哈希加链表和树形词典结构。

而Inverted index 指的是将单词或记录作为索引，将文档ID作为记录，这样便可以方便地通过单词或记录查找到其所在的文档。

一条记录的水平反向索引（或者反向档案索引）包含每个引用单词的文档的列表。
一个单词的水平反向索引（或者完全反向索引）又包含每个单词在一个文档中的位置。

现代搜索引擎的索引[3] 都是基于倒排索引。相比“签名文件”、“后缀树”等索引结构，“倒排索引”是实现单词到文档映射关系的最佳实现方式和最有效的索引结构.
　　
来源 根据属性来查找记录
倒排索引文件

构建方法：使用hash去重

在数据库中可以根据索引查找记录
但不满足与搜索引擎

比如：
（1） 海量数据
（2）数据操作简单

用来记录那些文章包含那些字
Tocid TF Posting Dcap

实际中存储的是D-gap

之所以要对文档编号进行差值计算，主要原因是为了更好地对数据进行压缩，原始文档编号一般都是大数值，通过差值计算，就有效地将大数值转换为了小数值，而这有助于增加数据的压缩率。

构建方式：
简单方法
hash去重

倒排列表就是文档编号DocID，没有包含其他的信息（如词频，单词位置等），这就是简单的索引。

这个简单索引功能可以用于小数据，例如索引几千个文档。
然而它有两点限制：
　　1）需要有足够的内存来存储倒排表，对于搜索引擎来说， 都是G级别数据，特别是当规模不断扩大时 ,我们根本不可能提供这么多的内存。
　　2）算法是顺序执行，不便于并行处理。
合并法：

更新的四种策略
完全重建策略
再合并策略
原地更新策略
混合策略

倒排索引创建索引的流程：

1） 首先把所有的原始数据进行编号，形成文档列表

2） 把文档数据进行分词，得到很多的词条，以词条为索引。保存包含这些词条的文档的编号信息。

当多条记录都匹配时会根据匹配度排序

我们目前的倒排索引
Quick 和quick
fox 和foxes
jumped和leap

而用普通的顺序匹配算法，不建索引，而是对所有文章的内容进行字符串匹配，这个过程将会相当缓慢，当文章数目很大时，时间往往是无法忍受的。

关于索引压缩算法
Eilas Gamma算法
Eilas Delta算法
Golomb算法a
Rice算法
变长字节算法
SimpleX算法
PForDelta算法