一个小改进,解决Redis数据在线加载大痛点(2017-03-30 顾伟涛)


前言


在使用Redis加载数据过程中存在一个问题,就是必须要重启Redis服务,如果是Redis主从复制架构,这样加载数据,是一件很麻烦的事情,笔者根据Redis启动时加载数据的思想,对Redis进行了改进,实现了在线加载数据,在这里和大家一起探讨下。


设计与实现


本文以Redis 3.0.7为例,根据Redis在启动过程中,加载数据的逻辑,为Redis增加了2个命令,分别为LOADAOF和LOADRDB,分别实现在线加载aof和rdb文件。


在执行 LOADAOF aofile时候,调用 loadAppendOnlyFile函数,加载aof文件数据。具体实现如下:


src/aof.c

新增如下函数:

void loadaofCommand(RedisClient *c) {

    if (server.rdb_child_pid != -1) {

        addReplyError(c,"Background save already in progress");

    } else if (server.aof_child_pid != -1) {

        addReplyError(c,"Can't BGSAVE while AOF log rewriting is in progress");

    } else if (c->argc != 2){

        addReply(c,shared.syntaxerr);

        return;

    } else if (loadAppendOnlyFile(c->argv[1]->ptr) == REDIS_OK) {

        addReplyStatus(c,"online loadaof started,Do not repeat!!!");

    } else {

        addReply(c,shared.err);

    }

}


在执行 LOADRDB <rdbfile>时候,调用函数rdbLoad,加载rdb文件。


src/rdb.c

新增如下函数:

void loadrdbCommand(RedisClient *c) {

    if (server.rdb_child_pid != -1) {

        addReplyError(c,"Background save already in progress");

    } else if (server.aof_child_pid != -1) {

        addReplyError(c,"Can't BGSAVE while AOF log rewriting is in progress");

    } else if (c->argc != 2){

        addReply(c,shared.syntaxerr);

        return;

    } else if (rdbLoad(c->argv[1]->ptr) == REDIS_OK) {

        addReplyStatus(c,"online loadrdb started,Do not repeat !!!");

    } else {

        addReply(c,shared.err);

    }

}


src/Redis.c

在函数 struct RedisCommand RedisCommandTable[]


新增如下一行:

    {"loadaof",loadaofCommand,2,"ar",0,NULL,0,0,0,0,0},

    {"loadrdb",loadrdbCommand,2,"ar",0,NULL,0,0,0,0,0},


src/Redis.h

在 void bgsaveCommand(RedisClient *c); 下面加入如下两行:

void loadrdbCommand(RedisClient *c);

void loadaofCommand(RedisClient *c);


src/help.h

在函数 struct commandHelp

新增如下内容:

  { "LOADAOF",

    "aof filename",

    "load aof file online",

    9,

    "3.0.7"},

    { "LOADRDB",

    "rdb filename",

    "load rdb file online,which can not repeat !!!",

    9,

    "3.0.7"}


编译Redis

cd Redis-3.0.7

make && make PREFIX=/usr/local/Redis30 install


测试结果




可以看出,不重启Redis,可以加载数据了。


应用场景


1、线上数据导入到测试Redis

一般开发由类似需求,用于分析问题和测试。


2、恢复数据

如果Redis出现误操作,可以执行在线加载数据,尤其是在sentinel(s)+Redis主从复制架构中,该方法更加渐变。


注意点


1、如果是Redis主从复制,在主库在线加载aofile/rdbfile时,从库上也需要存在这些文件,否则从库报错退出。


2、执行在线加载操作时候,同样的文件内容,不要重复执行,否则从库异常退出。


如果主库重复执行loadrdb <rdbfile>时候,主库也会异常退出。


该方案还存在着不足之处,在这里只做抛砖引玉,希望和大家一起探讨改进,便于DBA的快捷操作。

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页