如何剖析一个项目之Redis(三)

拆解的项目源码地址:
https://github.com/xk4848123/ef-redis

感谢开源!!!


如何剖析一个项目之Redis(一)
如何剖析一个项目之Redis(二)
如何剖析一个项目之Redis(三)

已知

  • 这是一款阉割的Java版的redis,通信基于Netty编写。
  • 我已经知到一个redis-cli发送一个命令过来后,是如何解析处理返回报文的。
  • aof机制是如何实现得。

已知的缺陷

我们用一张图表示命令处理过程。

Created with Raphaël 2.3.0 接收命令 CommandDecoder command != null? CommandHandler单线程处理 处理结束 not support command yes no
  • 缺陷一:aof是在CommandDecoder中的被放入aof缓冲区的(runtimeRespQueue阻塞队列),也就是在命令未执行成功就让它去写入aof,但是这样就有可能在该命令执行失败的时候也写入aof文件。
  • 缺陷二:CommandDecoder是多线程处理的,CommandHandler是单线程处理的,实际命令处理在CommandHandler中,如果aof写入在CommandDecoder中处理,会导致CommandHandler的处理顺序和aof文件中记录的命令顺序不一致,进而导致重启redis后内存中数据和之前不一样。
public class CommandDecoder extends LengthFieldBasedFrameDecoder {

    private static final Logger LOGGER = Logger.getLogger(CommandDecoder.class);

    private static final int MAX_FRAME_LENGTH = Integer.MAX_VALUE;

    private Aof aof = null;

    public CommandDecoder(Aof aof) {
        this();
        this.aof = aof;
    }

    public CommandDecoder() {
        super(MAX_FRAME_LENGTH, 0, 4);
    }

    @Override
    public Object decode(ChannelHandlerContext ctx, ByteBuf in) throws Exception {
        TRACEID.newTraceId();
        try {
            Resp resp = Resp.decode(in);
            if (!(resp instanceof RespArray)) {
                throw new IllegalStateException("客户端发送的命令格式有问题");
            }
            Command command;
            command = CommandFactory.from((RespArray) resp);

            if (command == null) {
                ctx.writeAndFlush(new Errors("unsupport command:" + ((BulkString) ((RespArray) resp).getArray()[0]).getContent().toUtf8String()));
            } else {
                if (aof != null && command instanceof WriteCommand) {
                    aof.put(resp);
                }
                return command;
            }
        } catch (Throwable t) {
            LOGGER.error("解码命令", t);
        }
        return null;
    }


}

缺少aof重写机制,会导致aof膨胀严重。

aof重写机制

该redis服务采用的过期策略只是惰性删除,并且惰性删除时没有将删除指令添加到aof,这样会导致重启后该键值对又被重新加入内存。没有内存淘汰机制,也就是说如果一直插入新的键值对内存是会持续增长直到OOM

Redis的过期处理策略

Redis的内存淘汰机制

总结

本篇我们对 Java 版的 Redis 的缺陷作了一些剖析,主要包括 缺少aof重写机制Redis的过期处理策略只有惰性删除缺少Redis的内存淘汰机制

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值