小量压缩简单算法

小量压缩简单算法

在对文档进行倒排的时候经常涉及到对倒排文档的压缩，例如假设有单词instance 出现的文档有＜1，3 ，4 ， 6 ，9 ，10，... >，即倒排表以升充排列，这样我们就可以在倒排文件中只保存前后两个文档位置的差量，即转变之后结果为＜1 ，2 ， 1 ， 2 ， 3 ， 1 ， ...＞，因此在遍历的时候可以累积得到每个文档位置。分析转变后的倒排文件我们可知 (不失一般性)保存了更多的小量。如果在内存中我们以一个int类型来保存更多类似于1-10这样的小量就会造成更多的浪费，这是因为1－10可以不超过 4bit的空间来进行存储，而int占用32bit，因此会造成大量浪费。如何压缩数据来节约更多的存储空间有待我们解决

参考:  QQ架构的讨论（整理）
参考:  linux查看文件夹大小
参考:  小量压缩简单算法
参考:  指针和Map
参考:  效率极低人群之七大习惯
参考:  realxie的专栏