Redis 服务器端的 java 实现, 替代 embedded-redis

起因

疫情原因, 公司业务变少, 有点闲置的时间, 纯使用 java 实现了 redis-server , 顺便感谢一下公司在艰难的情况一切还可以正常维持. 实现的起因是单元测试, 现在的项目都是前后端分离的, 运行结果中的错误很难直观的发现. 当时用了好几个mock工具, 都不是很理想, 最大的原因是很多不支持的命令.所以趁有时间, 开发了这个项目.

使用

你可以自己下载源码进行编译, jdk 需要 1.8+ 进行编译, 当然你也可以是使用maven 依赖

<dependency>
    <groupId>com.github.microwww</groupId>
    <artifactId>redis-server</artifactId>
    <version>0.3.0</version>
    <scope>test</scope>
</dependency>

版本可能有变化, 历史版本: mvnrepository

启动一个服务:

    RedisServer server = new RedisServer();
    //server.configScheme(16, new AbstractOperation(){}, ...); // 这里添加自己实现的redis命令
    server.listener("127.0.0.1", 6379); // Redis runs in the background
    InetSocketAddress address = (InetSocketAddress) server.getServerSocket().getLocalSocketAddress();
    logger.info("Redis start :: [{}:{}]", address.getHostName(), address.getPort());

如果你愿意, 可以设置端口为 0, 服务器将启动在一个不冲突的随机端口, 然后你就可以使用 server..getLocalSocketAddress 命令来获取监听的 ip和端口 .
如果是使用的是 spring-boot, 你也可以这样 :

    @Bean
    public RedisServer mockRedisServer(RedisProperties redisProperties) throws IOException {
        RedisServer server = new RedisServer();
        server.listener(redisProperties.getHost(), redisProperties.getPort());
        InetSocketAddress address = (InetSocketAddress) server.getServerSocket().getLocalSocketAddress();
        logger.info("Mocker Redis start :: [{}:{}], set 'server.redis.host' to match it", address.getHostName(), address.getPort());
        return server;
    }

这样 redis 就运行在springboot 配置文件指定的地址和端口, 当然ip地址必须是本地的ip, 否则会收到一个异常作为的奖励.

支持 Spring-boot 

如果使用的是的spring-boot 你可以去 这里查看 

源码和依赖

项目源码在 码云gitee 或者 github 上, 欢迎 forck.
代码基于 jdk1.8+, 唯一的依赖是redis.clients: jedis-2.9.0, 有个可选的依赖 slf4j, 作为日志输出, 如果没有程序会使用 java.util.logging.*

限制

特别注意 因为java 语言的限制 所有 数据集合的最大上限 都是有符号的最大整数 0x7fffffff, 例如数据库的最大数量, 字符串的最大字节数. 每个Hash/list/set 数据集合的最大数据量上限

支持命令

支持大部分的操作命令. 暂时不支持的 订阅/脚本/事务 类的命令.支持的命令列表如下
ConnectionOperation
AUTH, ECHO, PING, QUIT, SELECT, HELLO<0.3.0>
HashOperation
HDEL, HEXISTS, HGET, HGETALL, HINCRBY, HINCRBYFLOAT, HKEYS, HLEN, HMGET, HMSET, HSCAN, HSET, HSETNX, HVALS,
KeyOperation
DEL, EXISTS, EXPIRE, EXPIREAT, KEYS, MOVE, PERSIST, PEXPIRE, PEXPIREAT, PTTL, RANDOMKEY, RENAME, RENAMENX, SCAN, SORT, TTL, TYPE, UNLINK(+)
ListOperation
BLPOP, BRPOP, LINDEX, LINSERT, LLEN, LPOP, LPUSH, LPUSHX, LRANGE, LREM, LSET, LTRIM, RPOP, RPOPLPUSH, RPUSH, RPUSHX,
PubSubOperation <0.2.2+>
PSUBSCRIBE, PUBLISH, PUBSUB, PUNSUBSCRIBE, SUBSCRIBE, UNSUBSCRIBE,
ScriptOperation
ServerOperation
DBSIZE, FLUSHALL, FLUSHDB, TIME,
SetOperation
GETORCREATE, SADD, SCARD, SDIFF, SDIFFSTORE, SINTER, SINTERSTORE, SISMEMBER, SMEMBERS, SMOVE, SPOP, SRANDMEMBER, SREM, SSCAN, SUNION, SUNIONSTORE,
SortedSetOperation
ZADD, ZCARD, ZCOUNT, ZINCRBY, ZINTERSTORE, ZRANGE, ZRANGEBYSCORE, ZRANK, ZREM, ZREMRANGEBYRANK, ZREMRANGEBYSCORE, ZREVRANGE, ZREVRANGEBYSCORE, ZREVRANK, ZSCAN, ZSCORE, ZUNIONSTORE,
StringOperation
APPEND, BITCOUNT, BITOP, DECR, DECRBY, GET, GETBIT, GETRANGE, GETSET, INCR, INCRBY, INCRBYFLOAT, MGET, MSET, MSETNX, PSETEX, SET, SETBIT, SETEX, SETNX, SETRANGE, STRLEN,

不支持的命令

支持列表看着挺多的, 其实不支持的也是挺多的, 而且有几个比较重要的 比如 Transaction 事务,事务的实现复杂度还是挺高的.
如果碰到不支持的操作, 或者有bug 导致部分命令无法使用, 你可以自己添加或者覆盖一个命令.
只需要

1. 创建一个类 需要继承自extends AbstractOperation类(当然也可以继承自已有的实现),
2. 创建一个方法, 方法签名是固定的 public void name(RedisRequest request) throws IOException, 你要实现的redis命令和方法名要一致, 方法名全小写即可
3. 参数RedisRequest 你可以拿到大部分可用对象: RedisServer, Scheme, RedisDatabase Request-session 等.
4. 最后把该类的实例添加到服务中 server.configScheme(16, new YourOperation1(), ...).
   例如: 要实现一个 PING 命令, 服务器要返回个 PONG 字符串

    // PING 命令 对应的 方法名是 小写 `ping` 
    public void ping(RedisRequest request) throws IOException {
        request.expectArgumentsCount(0); // ping 命令不需要参数
        RedisOutputStream out = request.getOutputStream(); // 获取输出流
        RedisOutputProtocol.writer(out, "PONG"); // 写入数据, 并 `flush`
    }

RedisOutputProtocol 会帮你自动组装为 redis 网络协议的数据.

关于 Rredis 网络协议可以自行搜索

1 :状态回复 (单行信息的数据）
2 -错误信息回复（必须为单行信息）
3 +integer值回复 （数字类型）
4 *多消息回复 (一次返回一个byte[][] )
5 $多消息回复里的单个命令, (上面4中的一个 byte[)
//
// RESP-3  新增加了很多标识符
//

关于实现的一点说明

使用java NIO 实现, (redis 使用单线程, 虽然部分已经使用多线程).所以如果自行实现的命令注意添加同步关键字 或者使用 DataLock.syn 方法包装.

由于事务的实现, 所以修改为了单线程执行