Redis研发实践

author：skate
time：2018/12/22

 

1.设计规范的key名
(1)【建议】: 可读性和可管理性
以业务名(或数据库名)为前缀(防止key冲突)，用冒号分隔，比如业务名:表名:id，一般redis Key需要能明显的看出该类型存储的数据是干嘛的
例如 ：uc :colibri:id
(2)【建议】：简洁性
保证语义的前提下，控制key的长度，当key较多时，内存占用也不容忽视。
(3)【强制】：不要包含特殊字符
反例：包含空格、换行、单双引号以及其他转义字符。


2.选择合适集合类
使用sortedset、set、list、hash等集合类的O(N)操作时要评估当前元素个数的规模以及将来的增长规模，对于短期就可能变为大集合的key，要预估O(N)操作的元素数量，
避免全量操作，可以使用HSCAN、SSCAN、ZSCAN进行渐进操作。集合元素数量过大在使用过程中会影响redis的实际性能，元素个数建议尽量不要超过5000，元素数量过大可
考虑拆分成多个key进行处理。

3.大key优化方法
redis是单线程运行的，如果一次操作的key(value值很大)很大会对整个redis的响应时间造成负面影响，所以遇到大key近最大可能拆分

单个key的存储的value值很大
   场景1：需要对该对象每次都整存整取
          a.可以尝试将对象分拆成几个key-value， 使用multiGet获取值，这样分拆的意义在于分拆单次操作的压力，将操作压力平摊到多个redis实例中，降低对单个redis的IO影响，提高整会话响应时间
          
   场景2：每次只需要存取部分数据        
          a.可以像第一种做法一样，分拆成几个key-value
          b.可以将这个存储在一个hash中，每个field代表一个具体的属性，使用hget，hmget来获取部分的value，使用hset，hmset来更新部分属性

hash/set/zset/list中存储元素过多（>5000）
通过增加一层桶的概念，减少元素的数量，以hash为例，原先的正常存取流程是:
hget(hashKey, field);
hset(hashKey, field, value)

现在，固定桶总共的数量，比如1000，每次存取的时候，先在本地计算field的hash值，模除1000，确定该field落在哪个key上（控制每个桶里元素数量）
newHashKey = hashKey + (hash(field) % 1000);
hset(newHashKey, field, value);
hget(newHashKey, field)

set、zset、list也可以类似上述做法，但也有些不适合的场景，比如要保证lpop的数据的确是最早push到list中去的，这个就需要一些附加的属性，或者是在key的拼接上做一些工作（比如list按照时间来分拆）。


4.网络引发的延迟优化
4.1 使用连接池
      在客户端连接redis的server时，尽可能使用长连接或连接池，避免频繁创建销毁连接
      参考：wiki地址
4.2 使用批操作
 批操作意义是减少维护网络连接和传输数据所消耗的资源和时间
 a.MSET/MGET/HMSET/HMGET等命令
 b.pipelining
   pipelining实现在一次交互中执行多条命令,Redis就会依次执行这些命令，并且把每个命令的返回按顺序组装在一起一次返回,
   Pipelining只能用于执行连续且无相关性的命令，当某个命令的生成需要依赖于前一个命令的返回时，就无法使用Pipelining了
 c.事务
   Redis的事务可以确保多条命令执行时的原子性。也就是说Redis能够保证一个事务中的一组命令是绝对连续执行的，在这些命令执行完成之前，绝对不会有来自于其他连接的其他命令插进去执行，
   通过MULTI和EXEC命令来把这两个命令加入一个事务中。
   需要注意的是，Redis事务不支持回滚
 d.Scripting
   Redis执行LUA脚本类似于RDBMS的存储过程一样，可以把客户端与Redis之间密集的读/写交互放在服务端进行，避免过多的数据交互，提升性能.
   Scripting功能是作为事务功能的替代者诞生的，事务提供的所有能力Scripting都可以做到。Redis官方推荐使用LUA Script来代替事务，Scripting的效率和便利性都超过了事务。


5.合理设置过期时间
  a.小key单独设置过期时间(不要集中过去)
  b.hash/set/zset/list集合类元素过多，由于只能设置集合本身的过期时间，需要自己设计过期方法,通过hscan、sscan、zscan方式渐进式删除。


如何在设计阶段就设计redis集合类型元素过期

以list为例，比如数据保留最近30天

listkey:表示某一业务链表
20181210101010:valueofkey ：表示listkey链表的一个值

lpush listkey 20181210101010:valueofkey

每次读取这个值时，通过值中的时间部分判断是否过期，如果过期实际删除，如果没有过期通过重置这个时间(最好unix时间)来续命

 

------end------