看到此前的博客曾经承诺详细把PForDelta做详细说明,今天花了点时间,写下来,压缩部分没有展开,因为对于搜索引擎来说,解压的速度才是关键,就其解压速度和CPU流水线的关系,在本文做进一步的深入讨论。
首先来认识一下PForDelta算法。在压缩过程中,文档间距(gap)越小,压缩的效果越好,有研究表明,在索引压缩的过程中gap = 1的情况大约10%。而pfordelta算法对小gap的情况,特别有优势。
假定一个索引块为8个gap,80%的情况下gap值小于32,小于32的值均可以用一个b = 5bit的数来表示。下面,建立这样一个结构:8*b-bit的常规部分,看作是一个位数组,每个元素占b-bit定长空间,余下的为异常部分,看作是一个整形数组,每个元素占4字节定长空间。假定有这样一个doc