小量压缩简单算法
参考: linux查看文件夹大小
参考: 小量压缩简单算法
参考: 指针和Map
参考: 效率极低人群之七大习惯
参考: realxie的专栏
在对文档进行倒排的时候经常涉及到对倒排文档的压缩,例如假设有单词instance 出现的文档有<1,3 ,4 , 6 ,9 ,10,... >,即倒排表以升充排列,这样我们就可以在倒排文件中只保存前后两个文档位置的差量,即转变之后结果为<1 ,2 , 1 , 2 , 3 , 1 , ...>,因此在遍历的时候可以累积得到每个文档位置。分析转变后的倒排文件我们可知 (不失一般性)保存了更多的小量。如果在内存中我们以一个int类型来保存更多类似于1-10这样的小量就会造成更多的浪费,这是因为1-10可以不超过 4bit的空间来进行存储,而int占用32bit,因此会造成大量浪费。如何压缩数据来节约更多的存储空间有待我们解决
参考: QQ架构的讨论(整理)参考: linux查看文件夹大小
参考: 小量压缩简单算法
参考: 指针和Map
参考: 效率极低人群之七大习惯
参考: realxie的专栏