后台开发常见层式结构设计:时间轮、跳表、LSM_Tree

时间轮:内核定时器的实现、skynet、kafka、netty;
跳表:redis、rocksdb
LSM-Tree:写多读少 b+树 :读多写少

思想:分治

1、海量并发定时任务:时间轮

在这里插入图片描述
定时任务 定时器
以时间顺序来进行组织 过期时间戳
以事件的执行顺序进行组织: 时间轮 处理定时任务的优先级

多层级时间轮
在这里插入图片描述
在这里插入图片描述
多线程环境下如何进行加锁?锁的粒度
lock(&mtx);
操作时间轮
unlock(&mtx);

2、高并发读写有序结构组织;跳表

增删改查
在这里插入图片描述
增删改容易破坏理想状态,并且需要重新维护
增加节点时候,随即层数 1/2 1/4 1/8
O(log n)
多层级的有序链表
原子变量:最高层级、节点
内存可见性
指令优化问题
原子性
在这里插入图片描述

redis zset 排行榜 range,利于范围查找
双向链表,可以反向查找

3、空间利用率以及写性能高的磁盘数据组织:LSM_Tree

提升写的效率: 顺序内存 >> 随即内存~=顺序磁盘 >> 随机磁盘io

B+树 存储效率不高(空间放大比较严重 写放大比较严重) 167G
LSM-Tree 读多写少的问题 容易产生节点的分裂(double write) 50G

内存中支持跳表(更细粒度上加锁(只对修改的附近的节点加锁),支持多线程)
磁盘中有序的结构sorted string Table
Memtable可写内存
immutable memtable 只读内存

流程:
写到日志,同时写道可写内存,当可写内存写满,移到只读内存中,只读内存写道level0中,level0中可能出现相同的key(修改了某个值),level0中归并排序到level1

为什么是顺序写?
因为是append log。

怎么去高效地读?
加一个布隆过滤器:能确定一定不存在,有误差判定存在;
首先在level0的第一个ssTable中,用布隆过滤器判断,没有就去下一个ssTable;
level0都没有,就去下一个level

在这里插入图片描述

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值