lsm树针对快速写入进行了优化
Cassandra(一种非关系型数据库)在内存中构建memtable,数据依次写入memtable,且在写入过程中就完成了数据的排序,即数据的保存是有序的,该过程在内存中完成,处理速度极快。
当memtable不断写入达到内存的临界点时,内存中所生成的数据就会刷盘写入到磁盘中,这个结构称为sstable,这些写入都是顺序io,在任何存储介质上都很快。每写一次sstable,该sstable就不再发生变化,memtable清空等待后续数据的持续写入。随着时间更迭,在硬盘上会出现大量sstable保存有序的数据。
在最新的写入中需要对之前数据进行更新时,首先将更新操作写到memtable中,等到memtable满了之后会追加到最新的sstable中,在此过程中,发生了更新的数据会增加一个墓碑标记,表示之前的数据已经作废。即:将之前的旧数据在最新的sstable中标记,说明之前某个数据已经作废,原有sstable不做任何变化。
以上操作存在问题,随着key的更新和墓碑的增加,过时的条目越来越多,这些占用宝贵的磁盘空间。
Cassandra定时的在达到某个边界条件后,将积压的sstable进行合并。合并的过程中会把过期的数据清理掉,并添加相应的汇总表进行数据查询方面的优化。越往下层级数据体量越大(指数级增加)。
有两种广泛的策略:SizeTieredCompaction 偏向写入吞吐量优化 Cassandra; LeveledCompaction 偏向读取优化 RocksDB
常见的优化措施:
1.如何快速的进行数据读取:在内存中保留一个汇总表,包含每个level每个磁盘块的最小key/最大key范围,它允许系统跳过对那些key不在范围内的磁盘块的搜索,这样就节省了大量的随机io
2.查找不存在的key:布隆过滤器,通过多次哈希产生的一个bitmap