一、键值设计
key名设计
-
可读性和可管理性【建议】
以业务名(或数据库名)为前缀(防止key冲突),用冒号分隔,比如业务名:表名:idugc:video:1
-
简洁性【建议】
保证语义的前提下,控制key的长度,当key较多时,内存占用也不容忽视,例如:user:{uid}:friends:messages:{mid}简化为u:{uid}:fr:m:{mid}
。 -
不要包含特殊字符【强制】
反例:包含空格、换行、单双引号以及其他转义字符
详细解析
value设计
-
拒绝bigkey(防止网卡流量、慢查询)【强制】
string类型控制在10KB以内,hash、list、set、zset元素个数不要超过5000。
反例:一个包含200万个元素的list。非字符串的bigkey,不要使用del删除,使用hscan、sscan、zscan方式渐进式删除,同时要注意防止bigkey过期时间自动删除问题(例如一个200万的zset设置1小时过期,会触发del操作,造成阻塞,而且该操作不会不出现在慢查询中(latency可查)),查找方法和删除方法。
在应用层,对k/v序列化时,进行判断大小,如果大小超过10KB,则不允许提交到redis。
详细解析 -
选择适合的数据类型【推荐】
例如:实体类型(要合理控制和使用数据结构内存编码优化配置,例如ziplist,但也要注意节省内存和性能之间的平衡)
反例:set user:1:name tom set user:1:age 19 set user:1:favor football
正例
hmset user:1 name tom age 19 favor football
控制key的生命周期,redis不是垃圾桶【推荐】
建议使用expire设置过期时间(条件允许可以打散过期时间,防止集中过期,bigkey过期需要设置在可控范围之类),不过期的数据重点关注idletime。
key过期删除机制
.
注: big key设置过期时间通过exipreat设置在可控时间范围内,Redis 2.8 key淘汰机制:定期扫描一小批量过期key(20个)删除,内部删除
.
hash、list、set、zset删除会遍历里面的field 一个个删除,由于Redis单线程如果扫描到到big key ,正好且高峰期,内部删除会引起抖动。
.
Redis 存储: hash,list,set的不同类型的key会存储到一个hash表, 某个hash key的field会单独存储到一个hash表。
.
Redis 2.8 delete dict相关代码: dict dictGenericDelete方法
二、命令使用
-
O(N)命令关注N的数量【推荐】
例如hgetall、lrange、smembers、zrange、sinter等并非不能使用,但需要通过 hlen 、llen等明确N个数。有查询需求,可以使用hscan、sscan、zscan遍历(也可以开发统一查询平台供开发查询)。 -
禁用命令【推荐】
禁止线上使用keys、flushall、flushdb等,通过redis的rename机制禁掉命令,或者使用scan的方式渐进式处理。 -
合理使用select 【推荐】
建议使用一个redis db,方便运维维护以及排查,由于redis 是单线程,使用多个db并不能带来好处 -
使用批量操作提高效率【推荐】
原生命令:例如mget、mset。
非原生命令:可以使用pipeline提高效率。
但要注意控制一次批量操作的元素个数(例如500以内,实际也和元素字节数有关)。
注意两者不同:
- 原生是原子操作,pipeline是非原子操作。
- pipeline可以打包不同的命令,原生做不到
- pipeline需要客户端和服务端同时支持。
-
Redis事务功能较弱,不建议使用【建议】
Redis的事务功能较弱(不支持回滚),而且集群版本(自研和官方)要求一次事务操作的key必须在一个slot上(可以使用hashtag功能解决) -
核心业务排行榜(如果key比较多)/队列(操作频繁),最好单独一个集群。