《Redis设计与实现》阅读笔记8-客户端

12 客户端

Redis服务器是典型的一对多服务器(一个服务器与多个客服端建立连接),通过使用I/O多路复用技术实现文件事件处理器,Redis使用单线程单进程的方式来处理命令请求,服务器为客户端建立redis.h/redisClient结构,这些结构保存了客户端当前的状态信息,及执行相关功能时需要用到的数据结构。

  • 客户端的套接字描述符
  • 客户端的名字
  • 客户端的标志值
  • 指向客户端正在使用的数据库的指针,以及该数据库的号码
  • 客户端当前要执行的命令,命令的参数,命令参数的个数,以及指向命令实现函数的指针
  • 客户端的输入缓冲区和输出缓冲区
  • 客户端的复制状态信息,以及进行复制所需的数据结构
  • 客户端执行BRPOP,BLPOP等列表阻塞命令时使用的数据结构
  • 客户端的事务状态,以及执行WATCH命令时用到的数据结构
  • 客户端执行发布与订阅功能时用到的数据结构
  • 客户端的身份验证标准
  • 客户端创建时间,与服务器最后一次通信时间,超出缓冲区大小的软性限制时间

redisServer中有一个clients的链表结构,保存所有与服务器连接的客户端的状态

struct redisServer{
	//...

	//一个链表,保存了所有客户端的状态
	list *clients;

	//...
}

12.1 客户端属性

客户端状态包含的属性可以分为两类:

  • 一类是比较通用的属性,这些属性很少与特定功能相关,无论客户端执行的是什么工作,都需要用到这些属性
  • 另外一类是和特定功能相关的属性,比如操作数据库时需要用到的db属性和dictid属性,执行事务用到的mstate属性,以及执行WATCH命令时需要用到的watched_keys属性等等。

12.1.1 套接字描述符

typedef struct redisClient {

    // ...

    int fd;

    // ...

} redisClient;

客户端状态的fd属性记录了客户端正在使用的套接字描述符,根据客户端的不同,fd的属性的值可以是-1或者大于-1的整数。

  • 伪客户端的fd属性的值为-1,伪客户端处理的命令请求来源于AOF文件或者Lua脚本,而不是网络,所以这种客户端不需要套接字连接,用到伪客户端的地方为载入AOF文件还原数据库状态或者执行Lua脚本中包含的Redis命令。

  • 普通客户端的fd属性的值大于-1,普通客户端需要使用套接字与服务器进行网络通信,合法的套接字描述符不能是-1, 所以正常客户端使用的是大于-1的整数。

12.1.2 名字

typedef struct redisClient {

// ...

robj *name;

// ...

} redisClient;
在默认情况下,客户端是没有名字的,使用CLIENT list命令可以返回客户端链中所有客户端的信息,此时可以发现名字这个地方是空的。

而使用CLIENT setname命令可以给客户端指定一个名字,让客户端的身份变的更具体。

12.1.3 标志

typedef struct redisClient {

    // ...

    int flags;

    // ...

} redisClient;

客户端中的flags记录客户端的角色,及客户端当前的状态

flags可以是单个标志: flags=<flag>
也可以是多个标志的二进制或: flags=<flag1>|<flag2>|...

每个标志都使用一个常量表示,一部分标记记录了客户端的角色

  • 在主从服务器中,主服务器使用REDIS_MASTER标志,从服务器使用REDIS_SLAVE标志
  • REDIS_PRE_PSYNC标志代表客户端是一个版本低于Redis2.8的从服务器,主服务器不能使用PSYNC命令对这个从服务器进行同步,这个标志只在REDIS_SLAVE标志打开时使用
  • REDIS_LUA_CLIENT 标识表示客户端是专门用于处理 Lua 脚本里面包含的 Redis 命令的伪客户端。

而另外一部分标志则记录了客户端目前所处的状态:

  • REDIS_MONITOR 标志表示客户端正在执行 MONITOR 命令。
  • REDIS_UNIX_SOCKET 标志表示服务器使用 UNIX 套接字来连接客户端。
  • REDIS_BLOCKED 标志表示客户端正在被 BRPOP 、 BLPOP 等命令阻塞。
  • REDIS_UNBLOCKED 标志表示客户端已经从 REDIS_BLOCKED 标志所表示的阻塞状态中脱离出来, 不再阻塞。 REDIS_UNBLOCKED 标志只能在 REDIS_BLOCKED 标志已经打开的情况下使用。
  • REDIS_MULTI 标志表示客户端正在执行事务。
  • REDIS_DIRTY_CAS 标志表示事务使用 WATCH 命令监视的数据库键已经被修改,REDIS_DIRTY_EXEC 标志表示事务在命令入队时出现了错误, 以上两个标志都表示事务的安全性已经被破坏, 只要这两个标记中的任意一个被打开, EXEC 命令必然会执行失败。 这两个标志只能在客户端打开了 REDIS_MULTI 标志的情况下使用。
  • REDIS_CLOSE_ASAP 标志表示客户端的输出缓冲区大小超出了服务器允许的范围, 服务器会在下一次执行 serverCron 函数时关闭这个客户端, 以免服务器的稳定性受到这个客户端影响。 积存在输出缓冲区中的所有内容会直接被释放, 不会返回给客户端。
  • REDIS_CLOSE_AFTER_REPLY 标志表示有用户对这个客户端执行了 CLIENT_KILL 命令, 或者客户端发送给服务器的命令请求中包含了错误的协议内容。 服务器会将客户端积存在输出缓冲区中的所有内容发送给客户端, 然后关闭客户端。
  • REDIS_ASKING 标志表示客户端向集群节点(运行在集群模式下的服务器)发送了 ASKING 命令。
  • REDIS_FORCE_AOF 标志强制服务器将当前执行的命令写入到 AOF 文件里面,REDIS_FORCE_REPL 标志强制主服务器将当前执行的命令复制给所有从服务器。 执行 PUBSUB 命令会使客户端打开 REDIS_FORCE_AOF 标志, 执行 SCRIPT_LOAD 命令会使客户端打开 REDIS_FORCE_AOF 标志和 REDIS_FORCE_REPL 标志。
  • 在主从服务器进行命令传播期间, 从服务器需要向主服务器发送 REPLICATION ACK 命令, 在发送这个命令之前, 从服务器必须打开主服务器对应的客户端的 REDIS_MASTER_FORCE_REPLY 标志, 否则发送操作会被拒绝执行。

PUBSUB命令与SCRIPT LOAD命令的特殊性

通常Redis只会把对数据库进行了修改的命令写入到AOF文件,并复制到各个从服务器,只读的命令不会被写入AOF文件。这个特点适用于大多数Redis命令,但PUBSUB命令与SCRIPT LOAD命令具体特殊性.PUBSUB命令不会修改数据库,但它向频道的所有订阅者发送消息的行为带有副作用,接收到消息的所有客户端状态会因为这个命令发生改变,所以服务器会使用REDIS_FORCE_AOF标志,将这个语句写入AOF,并在载入AOF文件时,会再次产生相同的PUBSUB命令,并产生一样的副作用。SCRIPT LOAD命令的情况类似PUBSUB命令,它不会修改数据库,但它修改了服务器的状态,所以这是一个带有副作用的命令,会使服务器使用REDIS_FORCE_AOF标志,强制写入AOF文件,并在载入AOF文件时,再次执行,再次产生副作用。
另外,为了让主服务器与从服务器都能成功载入SCRIPT LOAD命令指定的脚本,服务器需要使用REDIS_FORCE_REPL 标志将命令强制复制给所有从服务器。

12.1.4 输入缓冲区

客户端状态的输入缓冲区用于保存客户端发送的命令请求

typedef struct redisClient {

    // ...

    sds querybuf;

    // ...

} redisClient;

输入缓冲区的大小会根据输入内容动态地缩小或者扩大, 但它的最大大小不能超过 1 GB , 否则服务器将关闭这个客户端。

12.1.5 命令与命令参数

在服务器将客户端发送的命令请求保存到客户端状态的 querybuf 属性之后, 服务器将对命令请求的内容进行分析, 并将得出的命令参数以及命令参数的个数分别保存到客户端状态的 argv 属性和 argc 属性:

typedef struct redisClient {

    // ...

    robj **argv;

    int argc;

    // ...

} redisClient;
  • argv 属性是一个数组, 数组中的每个项都是一个字符串对象: 其中 argv[0] 是要执行的命令, 而之后的其他项则是传给命令的参数。

  • argc 属性则负责记录 argv 数组的长度。方便取的后面的参数。

12.1.6 命令实现函数

当服务器从协议内容中分析并得出 argv 属性和 argc 属性的值之后, 服务器将根据项 argv[0] 的值, 在命令表中查找命令所对应的命令实现函数。

当程序在命令表中成功找到 argv[0] 所对应的 redisCommand 结构时, 它会将客户端状态的 cmd 指针指向这个结构:

typedef struct redisClient {

    // ...

	//指向指定结构的指针
    struct redisCommand *cmd;

    // ...

} redisClient;

12.1.7 输出缓冲区

执行命令所得的命令回复会被保存在客户端状态的输出缓冲区里面, 每个客户端都有两个输出缓冲区可用, 一个缓冲区的大小是固定的, 另一个缓冲区的大小是可变的:

  • 固定大小的缓冲区用于保存那些长度比较小的回复, 比如 OK 、简短的字符串值、整数值、错误回复,等等。
  • 可变大小的缓冲区用于保存那些长度比较大的回复, 比如一个非常长的字符串值, 一个由很多项组成的列表, 一个包含了很多元素的集合, 等等。

客户端的固定大小缓冲区由 buf 和 bufpos 两个属性组成:

typedef struct redisClient {

    // ...

    char buf[REDIS_REPLY_CHUNK_BYTES];

    int bufpos;

    // ...

} redisClient;
  • buf 是一个大小为 REDIS_REPLY_CHUNK_BYTES 字节的字节数组, 而 bufpos 属性则记录了 buf 数组目前已使用的字节数量。

  • REDIS_REPLY_CHUNK_BYTES 常量目前的默认值为 16*1024 , 也即是说, buf 数组的默认大小为 16 KB 。

当 buf 数组的空间已经用完, 或者回复因为太大而没办法放进 buf 数组里面时, 服务器就会开始使用可变大小缓冲区。
可变大小缓冲区由 reply 链表和一个或多个字符串对象组成:

typedef struct redisClient {

    // ...

    list *reply;

    // ...

} redisClient;

通过使用链表来连接多个字符串对象, 服务器可以为客户端保存一个非常长的命令回复, 而不必受到固定大小缓冲区 16 KB 大小的限制。

12.1.8 身份验证

客户端状态的 authenticated 属性用于记录客户端是否通过了身份验证

typedef struct redisClient {

    // ...

    int authenticated;

    // ...

} redisClient;

如果 authenticated 的值为 0 , 那么表示客户端未通过身份验证; 如果 authenticated 的值为 1 , 那么表示客户端已经通过了身份验证。当客户端 authenticated 属性的值为 0 时, 除了 AUTH 命令(身份验证命令)之外, 客户端发送的所有其他命令都会被服务器拒绝执行。当客户端通过 AUTH 命令成功进行身份验证之后, 客户端状态 authenticated 属性的值就会从 0 变为 1 。

authenticated 属性仅在服务器启用了身份验证功能时使用: 如果服务器没有启用身份验证功能的话, 那么即使 authenticated 属性的值为 0 (这是默认值), 服务器也不会拒绝执行客户端发送的命令请求。

配置可以查看配置文件中的requirepass选项。

12.1.9 时间

客户端还有几个和时间有关的属性

typedef struct redisClient {

    // ...

    time_t ctime;

    time_t lastinteraction;

    time_t obuf_soft_limit_reached_time;

    // ...

} redisClient;
  • ctime 属性记录了创建客户端的时间, 这个时间可以用来计算客户端与服务器已经连接了多少秒 —— CLIENT_LIST 命令的 age 域记录了这个秒数
  • lastinteraction 属性记录了客户端与服务器最后一次进行互动(interaction)的时间, 这里的互动可以是客户端向服务器发送命令请求, 也可以是服务器向客户端发送命令回复。
  • lastinteraction 属性可以用来计算客户端的空转(idle)时间, 也即是, 距离客户端与服务器最后一次进行互动以来, 已经过去了多少秒 —— CLIENT_LIST 命令的 idle 域记录了这个秒数
  • obuf_soft_limit_reached_time 属性记录了输出缓冲区第一次到达软性限制(soft limit)的时间, 稍后介绍输出缓冲区大小限制的时候会详细说明这个属性的作用。

12.2 客户端的创建与关闭

服务器会使用不同的方式来创建和关闭不同类型的客户端

12.2.1 创建普通客户端

如果客户端是通过网络连接与服务器连接的普通客户端,服务器会使用连接事件处理器为客户端创建相应的客户端状态,并将新的客户端状态添加到服务器数据结构的客户端链表中。

12.2.2 关闭普通客户端

一个普通客户端被关闭有多种可能原因

  • 如果客户端进程退出或者被杀死,那么客户端与服务器的网络连接将被关闭,造成客户端被关闭
  • 如果客服端向服务器发送了不符合协议格式的命令请求
  • 客户端成为CLIENT KILL命令的目标
  • 如果用户为服务器设置了timeout配置选项,那么空转时间超过这个时间,客户端会被关闭,例外:客户端是主服务器,从服务器,被BLPOP等命令阻塞,或者正在执行SUBSCRIBE,PSUBSCRIBE等订阅命令,空转时间超过timeout也不会被关闭
  • 客户端发送的命令请求大小超过了输入缓冲区的限制大小
  • 发送给客户端的命令回复的大小超过了输出缓冲区的限制大小,前面说的可变大小缓冲区用于接收命令回复,由一个链表和任意多个字符串对象组成,但避免给客户端回复过大,占用过多的资源,会检查输出缓冲区的大小,并进行限制操作。
    • 硬性限制:如果超过硬性限制要求的大小,那么服务器立即关闭客户端
    • 软性限制:如果超过软性限制的大小,没超过硬性限制的大小。服务器会使用客户端状态结构的obuf_soft_limit_reached_time属性记录下到达软性限制的起始时间,之后会一直监视,如果处于超过软性限制持续时间达到设定的时长,会关闭客户端。若在指定时间内,达到软性限制以下就不会关闭。

12.2.3 Lua脚本的伪客户端

服务器会在初始化时创建负责执行Lua脚本中包含Redis命令的伪客户端,并将伪客户端关联在服务器状态结构的lua_client属性中:

struct redisServer{
	//...
	redisClient *lua_client;
	//...
}

lua_client伪客户端在服务器运行的整个生命周期中一直存在,只有服务器被关闭时,这个客户端才会被关闭。

12.2.4 AOF文件的伪客户端

服务器在载入AOF文件时,会创建用于执行AOF文件包含的Redis命令的伪客户端,并在载入完成以后,关闭这个伪客户端

发布了112 篇原创文章 · 获赞 54 · 访问量 3万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 技术黑板 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览