lsm-tree

lsm树针对快速写入进行了优化

Cassandra(一种非关系型数据库)在内存中构建memtable,数据依次写入memtable,且在写入过程中就完成了数据的排序,即数据的保存是有序的,该过程在内存中完成,处理速度极快。

当memtable不断写入达到内存的临界点时,内存中所生成的数据就会刷盘写入到磁盘中,这个结构称为sstable,这些写入都是顺序io,在任何存储介质上都很快。每写一次sstable,该sstable就不再发生变化,memtable清空等待后续数据的持续写入。随着时间更迭,在硬盘上会出现大量sstable保存有序的数据。

在最新的写入中需要对之前数据进行更新时,首先将更新操作写到memtable中,等到memtable满了之后会追加到最新的sstable中,在此过程中,发生了更新的数据会增加一个墓碑标记,表示之前的数据已经作废。即:将之前的旧数据在最新的sstable中标记,说明之前某个数据已经作废,原有sstable不做任何变化。

以上操作存在问题,随着key的更新和墓碑的增加,过时的条目越来越多,这些占用宝贵的磁盘空间。

Cassandra定时的在达到某个边界条件后,将积压的sstable进行合并。合并的过程中会把过期的数据清理掉,并添加相应的汇总表进行数据查询方面的优化。越往下层级数据体量越大(指数级增加)。

有两种广泛的策略:SizeTieredCompaction 偏向写入吞吐量优化 Cassandra;                                                                 LeveledCompaction 偏向读取优化 RocksDB

常见的优化措施:

1.如何快速的进行数据读取:在内存中保留一个汇总表,包含每个level每个磁盘块的最小key/最大key范围,它允许系统跳过对那些key不在范围内的磁盘块的搜索,这样就节省了大量的随机io

2.查找不存在的key:布隆过滤器,通过多次哈希产生的一个bitmap

  • 6
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
该资源内项目源码是个人的课程设计、毕业设计,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分达到96分,放心下载使用! ## 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.md文件(如有),仅供学习参考, 切勿用于商业用途。 该资源内项目源码是个人的课程设计,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分达到96分,放心下载使用! ## 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.md文件(如有),仅供学习参考, 切勿用于商业用途。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值