Redis系列之redis命令详解及其原理

目录

Redis

redis应用场景

安装编译&&启动

redis 存储结构 

 Redis的五种数据结构

string

string基础命令

string的存储结构

redis中string数据类型的应用

list

list基础命令

list存储结构

list应用

hsah

基础命令

存储结构

应用

set

基础命令

 存储结构

应用

zset

基础命令

存储结构

应用

---

Redis

redis（Remote Dictionary Service）远程字典服务，内存数据库 key-value数据库 应用广泛

redis命令查看 ：http://redis.cn/commands.html

redis应用场景

记录朋友圈点赞数、评论数和点击数（hash)

记录朋友圈说说列表（排序），便于快速显示朋友圈（list)

记录文章的标题、摘要、作者和封面，用于列表页展示（hash)

记录朋友圈的点赞用户ID列表，评论ID列表，用于显示和去重计数（zset）

缓存热点数据，减少数据库压力（hash）

如果朋友圈说说 ID 是整数 id，可使用 redis 来分配朋友圈说说 id（计数器）（string）

通过集合（set）的交并差集运算来实现记录好友关系（set）

游戏业务中，每局战绩存储（list)

安装编译&&启动

it clone https://gitee.com/mirrors/redis.git -b 6.2
cd redis
make
make test
make install
# 默认安装在 /usr/local/bin
# redis-server 是服务端程序
# redis-cli 是客户端程序


mkdir redis-data
# 把redis文件夹下 redis.conf 拷贝到 redis-data
# 修改 redis.conf
# requirepass 修改密码 123456
# daemonize yes
cd redis-data
redis-server redis.conf
# 通过 redis-cli 访问 redis-server
redis-cli -h 127.0.0.1 -a 123456

redis 存储结构 

 

 Redis的五种数据结构

string

字符数组，该字符串是动态字符串 raw，字符串长度小于1M 时，加倍扩容；超过 1M 每次只多扩 1M；字符串最大长度为 512M； 注意：redis 字符串是二进制安全字符串；可以存储图片，二进制协议等二进制数据；

string基础命令

# 设置 key 的 value 值
SET key val
# 获取 key 的 value
GET key
# 执行原子加一的操作
INCR key
# 执行原子加一个整数的操作
INCRBY key increment
# 执行原子减一的操作
DECR key
# 执行原子减一个整数的操作
DECRBY key decrement
# 如果key不存在，这种情况下等同SET命令。 当key存在时，什么也不做
SETNX key value
# 删除 key val 键值对
DEL key
# 设置或者清空key的value(字符串)在offset处的bit值。
SETBIT key offset value
# 返回key对应的string在offset处的bit值
GETBIT key offset
# 统计字符串被设置为1的bit数.
BITCOUNT key

string的存储结构

字符串长度小于等于 20 且能转成整数，则使用 int 存储；

字符串长度小于等于 44，则使用 embstr 存储；

字符串长度大于 44，则使用 raw 存储；

redis中string数据类型的应用

1  对象存储

SET role:10001 '{["name"]:"mark",["sex"]:"male",["age"]:30}'
GET role:10001

 用string存储对象模型时候，存储不经常修改的对象数据。

2 累加器 

# 统计阅读数 累计加1
incr reads
# 累计加100
incrby reads 100

3 分布式锁

# 加锁
setnx lock 1
# 释放锁
del lock
# 1. 排他功能 2. 加锁行为定义 3. 释放行为定义

 自旋锁 ：非公平锁，不是按照请求锁顺序来获取锁

互斥锁：公平锁 按照请求锁的先后顺序来获取锁

而redis实现的是非公平锁  etcd zk 用来实现的是公平锁

4 位运算

# 月签到功能 10001 用户id 202106 2021年6月份的签到 6月份的第1天
setbit sign:10001:202106 1 1
# 计算 2021年6月份 的签到情况
bitcount sign:10001:202106
# 获取 2021年6月份 第二天的签到情况 1 已签到 0 没有签到
getbit sign:10001:202106 2

string可以生成位图。value:string可以作为一个位图来使用

setbit 用embsrt raw,那么string为什么不用int呢？因为string是动态字符串能够更好的节约内存。

string有三种编码方式

字符串长度小于等于 20 且能转成整数，则使用 int 存储； 字符串长度小于等于 44，则使用 embstr 存储； 字符串长度大于 44，则使用 raw 存储

list

双向链表实现，列表首尾操作（删除和增加）时间复杂度 O(1) ；查找中间元素时间复杂度为 O(n)  列表中数据是否压缩的依据：

1. 元素长度小于 48，不压缩； 2. 元素压缩前后长度差不超过 8，不压缩；

list基础命令

# 从队列的左侧入队一个或多个元素
LPUSH key value [value ...]
# 从队列的左侧弹出一个元素
LPOP key
# 从队列的右侧入队一个或多个元素
RPUSH key value [value ...]
# 从队列的右侧弹出一个元素
RPOP key
# 返回从队列的 start 和 end 之间的元素 0, 1 2
LRANGE key start end
# 从存于 key 的列表里移除前 count 次出现的值为 value 的元素

存储结构
应用
栈（先进后出 FILO）
LREM key count value
# 它是 RPOP 的阻塞版本，因为这个命令会在给定list无法弹出任何元素的时候阻塞连接
BRPOP key timeout # 超时时间 + 延时队列

list存储结构

/* Minimum ziplist size in bytes for attempting compression. */
#define MIN_COMPRESS_BYTES 48
/* quicklistNode is a 32 byte struct describing a ziplist for a quicklist.
* We use bit fields keep the quicklistNode at 32 bytes.
* count: 16 bits, max 65536 (max zl bytes is 65k, so max count actually <
32k).
* encoding: 2 bits, RAW=1, LZF=2.
* container: 2 bits, NONE=1, ZIPLIST=2.
* recompress: 1 bit, bool, true if node is temporary decompressed for
usage.
* attempted_compress: 1 bit, boolean, used for verifying during testing.
* extra: 10 bits, free for future use; pads out the remainder of 32 bits */
typedef struct quicklistNode {
struct quicklistNode *prev;
struct quicklistNode *next;
unsigned char *zl;
unsigned int sz; /* ziplist size in bytes */
unsigned int count : 16; /* count of items in ziplist */
unsigned int encoding : 2; /* RAW==1 or LZF==2 */
unsigned int container : 2; /* NONE==1 or ZIPLIST==2 */
unsigned int recompress : 1; /* was this node previous compressed? */
unsigned int attempted_compress : 1; /* node can't compress; too small
*/
unsigned int extra : 10; /* more bits to steal for future usage */
} quicklistNode;
typedef struct quicklist {
quicklistNode *head;
quicklistNode *tail;
unsigned long count; /* total count of all entries in all
ziplists */
unsigned long len; /* number of quicklistNodes */
int fill : QL_FILL_BITS; /* fill factor for individual
nodes */
unsigned int compress : QL_COMP_BITS; /* depth of end nodes not to
compress;0=off */
unsigned int bookmark_count: QL_BM_BITS;
quicklistBookmark bookmarks[];
} quicklist;

list应用

栈(先进后出FILO)

LPUSH + LPOP
# 或者
RPUSH + RPOP

队列(先进先出FIFO)

LPUSH + RPOP
# 或者
RPUSH + LPOP

阻塞队列(blocking queue)

LPUSH + BRPOP
# 或者
RPUSH + BLPOP

异步消息队列

  操作与队列一样，但是在不同系统间。

获取固定窗口记录（战绩）

# 裁剪最近5条记录 战绩 近50条
ltrim says 0 4
lrange says 0 -1

实际项目中需要保证命令的原子性，所以一般用lua脚本或者使用pipeline命令；

ltrim say 0 49 ltrim是裁剪的操作

redis内部嵌套了lua虚拟机

-- redis lua脚本
local record = KEYS[1]
redis.call("LPUSH", "says", record)
redis.call("LTRIM", "says", 0, 4)

hsah

散列表，在很多高级语言当中包含这种数据结构 C++unorderd_map通过key快速索引value；

基础命令

# 获取 key 对应 hash 中的 field 对应的值
HGET key field
# 设置 key 对应 hash 中的 field 对应的值
HSET key field value
# 设置多个hash键值对
HMSET key field1 value1 field2 value2 ... fieldn valuen
# 获取多个field的值
HMGET key field1 field2 ... fieldn
# 给 key 对应 hash 中的 field 对应的值加一个整数值
HINCRBY key field increment
# 获取 key 对应的 hash 有多少个键值对
HLEN key
# 删除 key 对应的 hash 的键值对，该键为field
HDEL key field

存储结构

节点数量大于512或者所有字符串长度大于64，则使用dict实现；

节点数量小于512且有一个字符串小于64，则使用ziplist(压缩列表)实现。

应用

hmset hash:10001 name mark age 18 sex male
# 与 string 比较
set hash:10001 '{["name"]:"mark",["sex"]:"male",["age"]:18}'
# 假设现在修改 mark的年龄为19岁
# hash：
hset hash:10001 age 19
# string:
get role:10001
# 将得到的字符串调用json解密，取出字段，修改 age 值
# 再调用json加密
set role:10001 '{["name"]:"mark",["sex"]:"male",["age"]:19}'

hash 存储对象的属性，可以随时修改对象属性，但弱国用string存储对象的属性，修改对象的属性会比较麻烦，而且效率不高。

# 将用户id作为 key
# 商品id作为 field
# 商品数量作为 value
# 注意：这些物品是按照我们添加顺序来显示的；
# 添加商品：
hset MyCart:10001 40001 1
lpush MyItem:10001 40001
# 增加数量：
hincrby MyCart:10001 40001 1
hincrby MyCart:10001 40001 -1 // 减少数量1
# 显示所有物品数量：
hlen MyCart:10001
# 删除商品：
hdel MyCart:10001 40001

lrem MyItem:10001 1 40001
# 获取所有物品：
lrange MyItem:10001
# 40001 40002 40003
hget MyCart:10001 40001
hget MyCart:10001 40002
hget MyCart:10001 40003

set

集合：用来存储唯一性字段，不要求有序；存储不需要有序，操作交并插集的时候需要有序。

基础命令

# 添加一个或多个指定的member元素到集合的 key中
SADD key member [member ...]
# 计算集合元素个数
SCARD key
# SMEMBERS key
SMEMBERS key
# 返回成员 member 是否是存储的集合 key的成员
SISMEMBER key member
# 随机返回key集合中的一个或者多个元素，不删除这些元素
SRANDMEMBER key [count]
# 从存储在key的集合中移除并返回一个或多个随机元素
SPOP key [count]
# 返回一个集合与给定集合的差集的元素
SDIFF key [key ...]
# 返回指定所有的集合的成员的交集
SINTER key [key ...]
# 返回给定的多个集合的并集中的所有成员
SUNION key [key ...]

 存储结构

元素都为整数且节点数量小于等于512，则使用整数数组存储；元素当中有一个不是整数或者节点数量大于512，则使用字典存储。

应用

抽奖

# 添加抽奖用户
sadd Award:1 10001 10002 10003 10004 10005 10006
sadd Award:1 10009
# 查看所有抽奖用户
smembers Award:1
# 抽取多名幸运用户
srandmember Award:1 10
# 如果抽取一等奖1名，二等奖2名，三等奖3名，该如何操作？

共同关注

sadd follow:A mark king darren mole vico
sadd follow:C mark king darren
sinter follow:A follow:C

推荐好友

sadd follow:A mark king darren mole vico
sadd follow:C mark king darren
# C可能认识的人：
sdiff follow:A follow:C

zset

有序集合；又来实现排行榜，他是一个有序唯一的数据结构

member 维持唯一性   socre维持有序性

基础命令

# 添加到键为key有序集合（sorted set）里面
ZADD key [NX|XX] [CH] [INCR] score member [score member ...]
# 从键为key有序集合中删除 member 的键值对
ZREM key member [member ...]
# 返回有序集key中，成员member的score值
ZSCORE key member
# 为有序集key的成员member的score值加上增量increment
ZINCRBY key increment member
# 返回key的有序集元素个数
ZCARD key
# 返回有序集key中成员member的排名
ZRANK key member
# 返回存储在有序集合key中的指定范围的元素 order by id limit 1,100
ZRANGE key start stop [WITHSCORES]
# 返回有序集key中，指定区间内的成员(逆序)
ZREVRANGE key start stop [WITHSCORES]

存储结构

节点数量大于128或者有一个字符串长度大于64，则使用调表(skiplist);

节点数量小于128且所有的字符串长度都小于64则使用ziplist存储

数据少的时候，节省空间o(n)

数量多的时候，访问性能 O(1),O(logn)

应用

百度热榜(百度排行榜)

延时队列

将消息队列化成一个字符串作为zset的member，这个消息的到期处理时间作为socre，然后用多个线程轮询zset获取到期的任务进行处理。

def delay(msg):
msg.id = str(uuid.uuid4()) #保证 member 唯一
value = json.dumps(msg)
retry_ts = time.time() + 5 # 5s后重试
redis.zadd("delay-queue", retry_ts, value)
# 使用连接池
def loop():
while True:
values = redis.zrangebyscore("delay-queue", 0, time.time(), start=0,
num=1)
if not values:
time.sleep(1)
continue
value = values[0]
success = redis.zrem("delay-queue", value)
if success:
msg = json.loads(value)
handle_msg(msg)
# 缺点：loop 是多线程竞争，两个线程都从zrangebyscore获取到数据，但是zrem一个成功一个失
败，
# 优化：为了避免多余的操作，可以使用lua脚本原子执行这两个命令
# 解决：漏斗限流

分布式定时器 

生产者将定时任务hash到不同的redis实体中，为每个redis实体分配一个dispatcher进程，用来定时获取redis中超时时间并发发哦不同的消费者中。

时间窗口限流

系统限定用户的某个行为在指定的使劲啊范围内动态只能发生N次

# 指定用户 user_id 的某个行为 action 在特定时间内 period 只允许发生做多的次数
max_count
local function is_action_allowed(red, userid, action, period, max_count)
local key = tab_concat({"hist", userid, action}, ":")
local now = zv.time()
red:init_pipeline()
-- 记录行为
red:zadd(key, now, now)
-- 移除时间窗口之前的行为记录，剩下的都是时间窗口内的记录
red:zremrangebyscore(key, 0, now - period *100)
-- 获取时间窗口内的行为数量
red:zcard(key)
-- 设置过期时间，避免冷用户持续占用内存 时间窗口的长度+1秒
red:expire(key, period + 1)
local res = red:commit_pipeline()
return res[3] <= max_count
# 维护一次时间窗口，将窗口外的记录全部清理掉，只保留窗口内的记录；
# 缺点：记录了所有时间窗口内的数据，如果这个量很大，不适合做这样的限流；漏斗限流
# 注意：如果用 key + expire 操作也能实现，但是实现的是熔断，维护时间窗口是限流的功能