9.redis设计与实现学习笔记-客户端&服务器

12. 客户端

12.1. 客户端属性

客户端状态包含的属性可以分为两类:

  • 通用属性,很少与特定功能相关,无论客户端执行什么工作,都要用到这些属性
  • 与特定功能相关的属性,比如操作数据库要用到的db属性和dictid属性

12.1.1. 套接字描述

客户端状态的fd属性记录客户端正在使用的套接字描述符:

typedef struct redisClient{
    // ...
    int fd;
    // ...
}redisClient;

fd属性的值根据客户端类型不同而取不同的值:

  • -1 :伪客户端,伪客户端处理的命令请求来源于AOF文件或者Lua脚本,而不是网络,所以这种客户端不需要套接字连接,所以不需要记录套接字描述符。-1不是合法的套接字描述符。
  • 大于-1的整数:普通客户端,普通客户端使用套接字来与服务器进行通讯。

执行CLIENT list命令可以列出当前所有连接到服务器的普通客户端,命令输出中的fd域显示了服务器连接客户端所使用的套接字描述符:

redis> CLIENT list

addr=127.0.0.1:53428 fd=6 name= age=1242 idle=0 ...
addr=127.0.0.1:53469 fd=7 name= age=4 idle=4 ...

12.1.2. 名字

默认情况下,连接到服务器的客户端是没有名字的。

比如上面的执行CLIENT list例子上,两个客户端的name域都是空白的

使用CLIENT setname命令可以为客户端设置一个名字,让客户端的身份变得更清晰。

客户端的名字记录在客户端状态的name属性中:

typedef struct redisClient{
    // ...
    robj *name;
    // ...
}redisClient;

如果客户端没有为自己设置名字,客户端状态的name属性指向NULL,设置了,就指向一个字符串对象。

12.1.3. 标志

客户端的标志属性flags记录了客户端的角色,以及客户端目前所处的状态:

typedef struct redisClient{
    // ...
    int flags;
    // ...
}redisClient;

flags属性的值可以是单个标志(flags = <flag>),也可以是多个标志的二进制或(flags = <flag1>|<flag2> | ...)。

每个标志使用一个常量表示,一部分标志记录了客户端的角色:

  • 在主从服务器进行复制操作时, 主服务器会成为从服务器的客户端, 而从服务器也会成为主服务器的客户端。 REDIS_MASTER 标志表示客户端代表的是一个主服务器, REDIS_SLAVE 标志表示客户端代表的是一个从服务器。
  • REDIS_PRE_PSYNC 标志表示客户端代表的是一个版本低于 Redis 2.8 的从服务器, 主服务器不能使用 PSYNC 命令与这个从服务器进行同步。 这个标志只能在 REDIS_SLAVE 标志处于打开状态时使用。
  • REDIS_LUA_CLIENT 标识表示客户端是专门用于处理 Lua 脚本里面包含的 Redis 命令的伪客户端。

而另外一部分标志则记录了客户端目前所处的状态:

  • REDIS_MONITOR 标志表示客户端正在执行 MONITOR 命令。
  • REDIS_UNIX_SOCKET 标志表示服务器使用 UNIX 套接字来连接客户端。
  • REDIS_BLOCKED 标志表示客户端正在被 BRPOP 、 BLPOP 等命令阻塞。
  • REDIS_UNBLOCKED 标志表示客户端已经从 REDIS_BLOCKED 标志所表示的阻塞状态中脱离出来, 不再阻塞。 REDIS_UNBLOCKED 标志只能在 REDIS_BLOCKED 标志已经打开的情况下使用。
  • REDIS_MULTI 标志表示客户端正在执行事务。
  • REDIS_DIRTY_CAS 标志表示事务使用 WATCH 命令监视的数据库键已经被修改, REDIS_DIRTY_EXEC 标志表示事务在命令入队时出现了错误, 以上两个标志都表示事务的安全性已经被破坏, 只要这两个标记中的任意一个被打开, EXEC 命令必然会执行失败。 这两个标志只能在客户端打开了 REDIS_MULTI 标志的情况下使用。
  • REDIS_CLOSE_ASAP 标志表示客户端的输出缓冲区大小超出了服务器允许的范围, 服务器会在下一次执行 serverCron 函数时关闭这个客户端, 以免服务器的稳定性受到这个客户端影响。 积存在输出缓冲区中的所有内容会直接被释放, 不会返回给客户端。
  • REDIS_CLOSE_AFTER_REPLY 标志表示有用户对这个客户端执行了 CLIENT_KILL 命令, 或者客户端发送给服务器的命令请求中包含了错误的协议内容。 服务器会将客户端积存在输出缓冲区中的所有内容发送给客户端, 然后关闭客户端。
  • REDIS_ASKING 标志表示客户端向集群节点(运行在集群模式下的服务器)发送了 ASKING 命令。
  • REDIS_FORCE_AOF 标志强制服务器将当前执行的命令写入到 AOF 文件里面, REDIS_FORCE_REPL 标志强制主服务器将当前执行的命令复制给所有从服务器。 执行 PUBSUB 命令会使客户端打开 REDIS_FORCE_AOF 标志, 执行 SCRIPT_LOAD 命令会使客户端打开 REDIS_FORCE_AOF标志和 REDIS_FORCE_REPL 标志。
  • 在主从服务器进行命令传播期间, 从服务器需要向主服务器发送 REPLICATION ACK 命令, 在发送这个命令之前, 从服务器必须打开主服务器对应的客户端的 REDIS_MASTER_FORCE_REPLY 标志, 否则发送操作会被拒绝执行。

12.1.4. 输入缓冲区

输入缓冲区用于保存客户端发送的命令请求:

typedef struct redsiClient{
    // ...
    sds querybuf;
    // ...
}redisClient;

在这里插入图片描述

输入缓冲区的大小会根据内容动态地缩小或者扩大,但它的最大大小不能超过1GB,否则服务器将关闭这个客户端。

12.1.5. 命令和命令参数

在服务器将客户端发送的命令请求保存到客户端的querybuf属性中后,服务器会对命令请求的内容进行解析,并将得出的命令参数以及命令参数的个数分别保存到客户端状态的argv属性和argc属性:

typedef struct redisClient{
    // ...
    robj **argv;
    int argc;
    // ...
}redisClient;

argv属性是一个数组,数组中的每个项都是一个字符串对象:其中argv[0]是要执行的命令,其余的都是传给命令的参数;

argc属性负责记录argv数组的长度。

在这里插入图片描述

12.1.6. 命令的实现函数

当服务器分析得到argv属性和argc属性之后,服务器根据argv[0]的值,在命令表中查找命令所对应的命令实现函数。

在这里插入图片描述

命令表是一个字典,键时SDS结构,保存命令名字,值是所对应的redisCommand结构,这个结构保存了命令的实现函数、命令的标志、命令应该给定的参数个数、命令的总执行次数和总消耗次数等信息。

当程序在命令表中成功找到 argv[0] 所对应的 redisCommand 结构时, 它会将客户端状态的 cmd 指针指向这个结构:

typedef struct redisClient {
   	// ...
    struct redisCommand *cmd;
    // ...
} redisClient;

之后, 服务器就可以使用 cmd 属性所指向的 redisCommand 结构, 以及 argvargc 属性中保存的命令参数信息, 调用命令实现函数, 执行客户端指定的命令。

在这里插入图片描述

12.1.7. 输出缓冲区

执行命令后得到的命令回复会被保存到客户端状态的输出缓冲区里,每个客户端都有两个缓冲区可用,一个固定大小缓冲区(保存长度较小的回复),一个可变大小缓冲区(板寸长度较大的回复)。

固定大小缓冲区:

typedef struct redisClient{
    // ...
    // REDIS_REPLY_CHUNK_BYTES 默认大小为16*1024 也就是16K
    char bug[REDIS_REPLY_CHUNK_BYTES];
    int bufpos;//记录目前buf数组已使用的字节数量
    // ...
}redisClient;

可变大小缓冲区:

typedef struct redisClient{
    // ...
    // 通过链表连接多个字符串对象,用于保存长的命令回复
    list *reply;
    // ...
}redisClient;

12.1.8. 身份验证

客户端状态的 authenticated 属性记录客户单是否通过了身份验证:

typedef struct redisClient{
    // ...
    int authenticated;
    // ...
}redisClient;
  • 0:未通过验证

    除了 AUTH 命令之外,客户端发送的所有命令都会被服务器拒绝

  • 1:通过验证

12.1.9. 时间

客户端有几个和时间相关的属性:

typedef struct redisClient{
    // ...
    time_t ctime;
    time_t lastinteraction;
    time_t obuf_soft_limit_reached_time;
    // ...
}redisClient;
  • ctime属性记录了创建客户端的时间,用于计算客户端与服务器已经连接了多少秒,CILENT list命令的age域记录了这个秒数。
  • lastinteraction 属性记录客户端与服务器最后一次互动的时间(互动指的是客户端向服务器发送命令请求,或者服务器向客户端发送命令回复)
  • obuf_soft_limit_reached_time 属性记录了输出缓冲区第一次到达软件限制的时间

12.2. 客户端的创建和关闭

12.2.1. 创建普通客户端

通过网络连接与服务器进行连接的客户端是普通客户端,使用connect函数连接服务器的时候,服务器会调用事件处理器,为客户端创建相应的客户端状态,并将这个新的客户端状态添加到服务器状态结构clients链表的末尾。

例子:

c1,c2正在连接服务器,c3是一个新的普通客户端,连接到服务器:

在这里插入图片描述

12.2.2. 关闭普通客户端

普通客户端关闭的原因:

  • 客户端进程退出或被杀死,导致客户端服务器之间的网络连接关闭

  • 客户端向发送了不符合协议格式的命令请求

  • 客户端是CLIENT KILL 命令的目标

  • 用户为服务器设置了timeout选项,当客户端的空转时间超过timeout选项设置的值时,客户端将会被关闭

    例外:客户端是主服务器(打开了REDIS_MASTER标志),从服务器(打开了REDIS_SLAVE标志),正在被BLPOP等命令阻塞(打开了REDIS_BLOCKED标志)或者正在执行SUBSCRIBRPSUBSCRIBE等订阅命令,那么即使客户端的timeout时间,客户端也不会别服务器关闭

  • 客户端发送的命令请求的代销超过了输入缓冲区的显示大小(默认1GB)

  • 命令回复超过了输出缓冲区的限制大小

注:学习输出缓冲区时,讲到了可变大小缓冲区,原则上是可以保存任意长的命令回复,但是为了避免客户端的回复过大,占用过多的服务器资源,所以服务器会在缓冲区大小超出范围之后,执行相应的限制操作:

  • 硬性限制

    如果输出缓冲区超过了硬性限制,立马关闭客户端

  • 软性限制

    输出缓冲区超过了软性限制,而没超过硬性限制,那么服务器将使用客户端状态结构的obuf_soft_limit_reached_time属性记录客户端达到软性限制的起始时间,监视客户端,如果输出缓冲区一直超过软性限制,并且持续时间超过服务器设定的时长,那么服务器将关闭客户端,相反,在指定时间内,不再超过软性限制,那么客户单不会被关闭,并且obuf_soft_limit_reached_time的值会被清零。

使用client-output-buffer-limit选项为普通、从服务器、执行发布与订阅功能的客户单分别设置不同的软性或者硬性限制。

命令格式:client-output-buffer-limit <class> <hard limt> <soft limit< <soft seconds>

12.2.3. Lua脚本的伪客户端

服务器会在初始化创建负责执行Lua脚本中包含的Redis命令的伪客户端,并将这个伪客户端关联在服务器状态结构的lua_client属性中。

lua_client伪客户端会在服务器运行的整个生命周期中一直存在,当服务器关闭时,关闭。

12.2.4. AOF文件的伪客户端

在载入AOF完成之后,关闭这个伪客户端

13. 服务器

Redis的服务器负责与多个客户端建立网络连接,处理客户端发送的命令请求,在数据库中保存客户端执行命令所产生的数据,并通过资源管理来维持服务器自身的运转。

13.1. 命令请求的执行过程

13.1.1. 发送命令请求

当用户在客户端输入一个命令请求时,客户端会将这个命令请求转换成协议格式,然后通过连接到服务器的套接字,将协议格式的命令请求发送给服务器:

在这里插入图片描述

13.1.2. 读取命令请求

当客户端与服务器之间的连接套接字因为客户单的写入变成可读是:服务器会调用命令请求处理器执行:

  1. 读取套接字中协议格式的命令请求,并保存到客户端状态的输入缓冲区中
  2. 对输入缓冲区中的命令请求进行分析,提取出命令请求中包含的命令参数,以及命令参数的个数,然后分别将参数和参数个数保存到客户端状态的argvargc属性中去
  3. 调用命令执行器,执行客户端指定的命令

13.1.3. 命令执行器(1):查找命令实现

命令执行器的第一件事是根据客户端状态的argv[0]参数,在命令表中查找参数所指定的命令,并将找到哦啊的命令保存到客户端的cmd属性中。

命令表是一个字典,键是命令的名字,值是redisCommand结构,每个redisCommand记录了一个Redis命令的实现信息。


下表 redisCommand 结构的主要属性

属性名类型作用
namechar *命令的名字,比如 "set"
procredisCommandProc *函数指针,指向命令的实现函数,比如 setCommandredisCommandProc 类型的定义为typedef void redisCommandProc(redisClient *c);
arityint命令参数的个数,用于检查命令请求的格式是否正确。 如果这个值为负数 -N ,那么表示参数的数量大于等于 N 。 注意命令的名字本身也是一个参数, 比如说 SET msg "helloworld" 命令的参数是 "SET""msg""hello world" , 而不仅仅是 "msg""hello world"
sflagschar *字符串形式的标识值, 这个值记录了命令的属性, 比如这个命令是写命令还是读命令, 这个命令是否允许在载入数据时使用, 这个命令是否允许在 Lua 脚本中使用, 等等。
flagsintsflags 标识进行分析得出的二进制标识, 由程序自动生成。 服务器对命令标识进行检查时使用的都是 flags 属性而不是 sflags 属性, 因为对二进制标识的检查可以方便地通过 &^~ 等操作来完成。
callslong long服务器总共执行了多少次这个命令。
millisecondslong long服务器执行这个命令所耗费的总时长。

下表 列出了 sflags 属性可以使用的标识值, 以及这些标识的意义。

标识意义带有这个标识的命令
w这是一个写入命令,可能会修改数据库。SET 、 RPUSH 、 DEL ,等等。
r这是一个只读命令,不会修改数据库。GET 、 STRLEN 、 EXISTS ,等等。
m这个命令可能会占用大量内存, 执行之前需要先检查服务器的内存使用情况, 如果内存紧缺的话就禁止执行这个命令。SET 、 APPEND 、 RPUSH 、 LPUSH 、 SADD、 SINTERSTORE ,等等。
a这是一个管理命令。SAVE 、 BGSAVE 、 SHUTDOWN ,等等。
p这是一个发布与订阅功能方面的命令。PUBLISH 、 SUBSCRIBE 、 PUBSUB ,等等。
s这个命令不可以在 Lua 脚本中使用。BRPOP 、 BLPOP 、 BRPOPLPUSH 、 SPOP,等等。
R这是一个随机命令, 对于相同的数据集和相同的参数, 命令返回的结果可能不同。SPOP 、 SRANDMEMBER 、 SSCAN 、RANDOMKEY ,等等。
S当在 Lua 脚本中使用这个命令时, 对这个命令的输出结果进行一次排序, 使得命令的结果有序。SINTER 、 SUNION 、 SDIFF 、 SMEMBERS、 KEYS ,等等。
l这个命令可以在服务器载入数据的过程中使用。INFO 、 SHUTDOWN 、 PUBLISH ,等等。
t这是一个允许从服务器在带有过期数据时使用的命令。SLAVEOF 、 PING 、 INFO ,等等。
M这个命令在监视器(monitor)模式下不会自动被传播(propagate)。EXEC

注:命令名字不区分大小写

13.1.4. 命令执行器(2):执行预备操作

到目前为止, 服务器已经将执行命令所需的命令实现函数(保存在客户端状态的 cmd 属性)、参数(保存在客户端状态的 argv 属性)、参数个数(保存在客户端状态的 argc 属性)都收集齐了, 但是在真正执行命令之前, 程序还需要进行一些预备操作, 从而确保命令可以正确、顺利地被执行, 这些操作包括:

  • 检查客户端状态的 cmd 指针是否指向 NULL , 如果是的话, 那么说明用户输入的命令名字找不到相应的命令实现, 服务器不再执行后续步骤, 并向客户端返回一个错误。
  • 根据客户端 cmd 属性指向的 redisCommand 结构的 arity 属性, 检查命令请求所给定的参数个数是否正确, 当参数个数不正确时, 不再执行后续步骤, 直接向客户端返回一个错误。 比如说, 如果 redisCommand 结构的 arity 属性的值为 -3 , 那么用户输入的命令参数个数必须大于等于 3 个才行。
  • 检查客户端是否已经通过了身份验证, 未通过身份验证的客户端只能执行 AUTH 命令, 如果未通过身份验证的客户端试图执行除 AUTH 命令之外的其他命令, 那么服务器将向客户端返回一个错误。
  • 如果服务器打开了 maxmemory 功能, 那么在执行命令之前, 先检查服务器的内存占用情况, 并在有需要时进行内存回收, 从而使得接下来的命令可以顺利执行。 如果内存回收失败, 那么不再执行后续步骤, 向客户端返回一个错误。
  • 如果服务器上一次执行 BGSAVE 命令时出错, 并且服务器打开了 stop-writes-on-bgsave-error 功能, 而且服务器即将要执行的命令是一个写命令, 那么服务器将拒绝执行这个命令, 并向客户端返回一个错误。
  • 如果客户端当前正在用 SUBSCRIBE 命令订阅频道, 或者正在用 PSUBSCRIBE 命令订阅模式, 那么服务器只会执行客户端发来的 SUBSCRIBE 、 PSUBSCRIBE 、 UNSUBSCRIBE 、 PUNSUBSCRIBE 四个命令, 其他别的命令都会被服务器拒绝。
  • 如果服务器正在进行数据载入, 那么客户端发送的命令必须带有 l 标识(比如 INFO 、 SHUTDOWN 、 PUBLISH ,等等)才会被服务器执行, 其他别的命令都会被服务器拒绝。
  • 如果服务器因为执行 Lua 脚本而超时并进入阻塞状态, 那么服务器只会执行客户端发来的 SHUTDOWN nosave 命令和 SCRIPT KILL 命令, 其他别的命令都会被服务器拒绝。
  • 如果客户端正在执行事务, 那么服务器只会执行客户端发来的 EXEC 、 DISCARD 、 MULTI 、 WATCH 四个命令, 其他命令都会被放进事务队列中。
  • 如果服务器打开了监视器功能, 那么服务器会将要执行的命令和参数等信息发送给监视器。

当完成了以上预备操作之后, 服务器就可以开始真正执行命令了。

13.1.5. 命令执行器(3):调用命令的实现函数

当服务器要执行命令时,它执行以下语句:

client->cmd->proc(client);

13.1.6. 命令执行器(4):执行后续操作

在执行完实现函数之后, 服务器还需要执行一些后续工作:

  • 如果服务器开启了慢查询日志功能, 那么慢查询日志模块会检查是否需要为刚刚执行完的命令请求添加一条新的慢查询日志。
  • 根据刚刚执行命令所耗费的时长, 更新被执行命令的 redisCommand 结构的 milliseconds 属性, 并将命令的 redisCommand 结构的 calls 计数器的值增一。
  • 如果服务器开启了 AOF 持久化功能, 那么 AOF 持久化模块会将刚刚执行的命令请求写入到 AOF 缓冲区里面。
  • 如果有其他从服务器正在复制当前这个服务器, 那么服务器会将刚刚执行的命令传播给所有从服务器。

13.1.7. 将命令回复发送给客户端

13.1.8. 客户端接收并打印命令回复

在这里插入图片描述

13.2. serverCron 函数

serverCron函数每100毫秒执行一次,负责管理服务器资源,并保持服务器自身的良好运转。

13.2.1. 更新服务器时间缓存

Redis 服务器状态中unixtime属性和mstime属性被用作当前时间的缓存,serverCron函数每100毫秒更新一次这个数据。

13.2.2. 更新LRU时钟

服务器状态中的lruclock属性保存服务器的LRU时钟,是服务器时间缓存之一。每个对象都有,保存了对象最后一次被命令访问的时间。当服务器要计算一个数据库键的空转时间,程序会用服务器的lruclock属性的值减去对象的lru属性的值,得出的结果就是这个空转时间。

serverCron每10秒更新一次lruclock的值

13.2.3. 更新服务器每秒执行命令次数

13.2.4. 更新服务器内存峰值记录

13.2.5. 处理SIGTERM信号

13.2.6. 管理客户端资源

13.2.7. 管理数据库资源

13.2.8. 执行被延迟的BGREWRITEAOF

13.2.9. 检查持久化操作的运行状态

13.2.10. 将AOF缓冲区的内容写入到AOF文件

13.2.11. 关闭异步客户端

13.2.12. 增加cronloops计数器的值

13.3. 初始化服务器

13.3.1. 初始化服务器状态结构

第一步就是创建一个struct redisServer类型的实例变量server作为服务器的状态,并为结构中的各个属性设置默认值。

初始化server变量的工作由redis.c/initServerConfig函数完成,部分代码如下:

void initServerConfig(void){
    // 设置服务器的运行id
    getRandomHexChars(server.runid,REDIS_RUN_ID_SIZE);
    // 为运行id加上结尾字符
    server.runid[REDIS_RUN_ID_SIZE] = '\0';
    // 设置默认配置文件路径
    server.configfile = NULL;
    // 设置默认服务器频率
    server.hz = REDIS_DEFAULT_HZ;
    // 设置服务器运行架构
    server.arch_bits = (sizeof(long) == 8) ? 64 : 32;
    // 设置默认服务器端口
    server.port = REDIS_SERVERPORT;
    
    // ...
}

除了上面的工作,还有部分工作是:

  • 设置服务器的默认RDB持久化条件和AOF持久化条件
  • 初始化服务器的LRU始终
  • 创建命令表

13.3.2. 载入配置选项

启动服务器的时候,用户可以通过给定配置参数或者指定配置文件来修改服务器的默认配置。

13.3.3. 初始化服务器数据结构

执行了initServerConfig函数初始化server结构时,程序只创建了命令表这一个数据结构。

当前面步骤执行完后,执行到这个步骤时,服务器将调用initServer函数,为其余相应的数据结构分配内存,如有需要为这些数据结构设置或者关联初始化值。

在这里插入图片描述

之所有现在才初始化这些数据结构,是因为服务器必须先载入用户指定的配置选项,才能正确地对这些数据结构进行初始化。

13.3.4. 还原数据库状态

初始化完server变量之后,服务器会载入RDB文件或者AOF文件,并根据文件内容来还原服务器的数据库状态。

根据服务器是否启用了AOF持久化功能,服务器载入数据所使用的目标文件有所不同:

  • 如果开启了,那么载入AOF文件来还原数据库状态
  • 如果没开启,那么服务器使用RDB文件来还原数据库状态

13.3.5. 执行事件循环

©️2020 CSDN 皮肤主题: 精致技术 设计师:CSDN官方博客 返回首页