信息检索导论读书笔记（五）：索引压缩

在先前的章节中介绍了信息检索系统中两个主要数据结构：词典、倒排记录表。接下来将介绍对这两个数据结构的各种压缩技术。这些技术对于构建高效的IR系统非常关键。压缩的优点有：

1. 节省磁盘空间，压缩比可以非常容易达到1:4以上
2. 增加高速缓存技术的利用率，压缩后高速缓存中可以存放更多的信息
3. 加快数据从磁盘到内存的传输速度，将压缩的数据块传输到内存并解压缩需要的总时间往往比将未压缩的数据块传输到内存快

索引压缩技术有下面两个特点：

1. 压缩速度无须特别考虑，但要有高压缩率
2. 解压缩速度必须快，以提高高速缓存利用率和磁盘到内存的传输率

信息检索中词项的统计特性：

为更好地实现索引压缩，首先我们掌握对待压缩对象的统计特性。比如30定律：出现频率最高的30个词在书面文本占了30%的出现比例。

Heaps定律：词项数目的估计

一种对词项数目M进行估计的方法是采用Heaps定律：    。其中T是文档集合中的词条个数，k 和 b 的典型取值为。

Zipf定律：对词项的分布建模

排名第 i 多的词项的文档集频率  与  成正比，即