背景
在业务系统中,将数据放到缓存里面,业务流量直接查询缓存,一方面减少了db查询,提高了系统的容量和稳定性;另一方面,缓存通常是放在内存里面,内存访问速度比磁盘访问速度快很多,通过缓存降低了系统访问时间,降低系统延迟。但这又带来一个问题,缓存是放在内存中,内存价格相比磁盘昂贵许多,实际中业务数据是比缓存容量要大,为了节约成本,只能将部分数据放到缓存中。为了提高缓存的利用率,一种方案是将热点数据放到缓存中,将不经常访问的数据淘汰下来,业界产生了各种淘汰算法,比如redis系统中针对缓存就有LRU,FIFO,LFU等等;还有另外一种方案,对数据按照一定的算法进行压缩,减少单条数据的内存占用空间,从而在有限的容量下缓存更多的数据。
编码压缩
位图编码
位图(BitMap)是一种比较常见的编码格式,Bit位有0和1两种状态,能够表示两种状态。如果待编码数据只有两种状态,比如常见布尔类型只有true和false两种状态。
举个例子,需要存储的数据的key为整型,value为该key的有效状态。直接存储,一条数据至少需要4个字节来存储整型和一个字节来存储布尔型的状态值。如果使用位图编码技术,我们只需要一个bit就能存储这条数据。因此,使用一个字节就能够存储8条数据的状态信息,内存压缩率为1/(5*8), 优化非常明显。
另外一个场景业务数据比较特殊刚好只