关于Redis的启动过程

最新推荐文章于 2024-04-24 10:19:59 发布
最新推荐文章于 2024-04-24 10:19:59 发布
阅读量472 收藏
点赞数
文章标签： 数据库 操作系统 网络

一、简介

Redis的启动也就是main函数的执行，程序的入口在redis.c中，启动流程：

1. 初始化默认服务器配置，如果是sentinel模式还需进行额外的配置

2. 修改配置文件或配置选项，这其中包括处理诸如-h/--help，-v/--version，--test-memory的特殊选项，获取给定的配置文件，设定的配置选项，然后取得配置文件的绝对路径，重置保存条件，载入配置文件

3. 对服务器进行设置具体的包括：设置服务器为守护进程，创建并初始化服务器中的数据结构（如集群模式），为服务器进程设置名字，打印ASCII LOGO等等

4. 检查maxmemory配置，加载数据、运行事件处理器、监听事件

5.启动完成，AE会定时间去查询各个客户端是否有输入，如果有读取客户端输入并且对命令进行解析，命令信息保存在Hash表中

几个重要的函数

  • initServerConfig() 设定默认的参数值，并读取配置文件redis.conf，若用户配置了某个参数，则用该参数值替换默认值

  • initServer() 该函数主要对server进行初始化，内容包括： 调用anetTcpServer()函数创建socket server作为redis server，并将该server的句柄加到epoll/kqueue的监听队列中。 一旦有client接入，便会对该client触发操作acceptTcpHandler，该操作是调用aeCreateFileEvent注册的

  • anetTcpServer() 为建立网络套接字服务器的方法，对socket(), bind()和listen()等函数进行了封装

  • aeMain(aeEventLoop *eventLoop) 是启动事件轮询的入口，内部实现为一循环，不断处理来自客户的请求

二、初始化过程

1、执行下述语句
#ifdef INIT_SETPROCTITLE_REPLACEMENT
    spt_init(argc, argv);
#endif

其中INIT_SETPROCTITLE_REPLACEMENT的定义config.h中

/* Check if we can use setproctitle().
 * BSD systems have support for it, we provide an implementation for
 * Linux and osx. */
#if (defined __NetBSD__ || defined __FreeBSD__ || defined __OpenBSD__)
#define USE_SETPROCTITLE
#endif

#if ((defined __linux && defined(__GLIBC__)) || defined __APPLE__)
#define USE_SETPROCTITLE
#define INIT_SETPROCTITLE_REPLACEMENT
void spt_init(int argc, char *argv[]);
void setproctitle(const char *fmt, ...);
#endif

实现了对Linux和OSX的该功能的扩展（BSD系统已经支持该功能，而Linux和APPLE不支持）

2、setlocale
setlocale(LC_COLLATE,"");//系统调用，用来配置本地化信息。
3、zmalloc 的一些配置
zmalloc_enable_thread_safeness(); //开启了内存分配管理的线程安全变量，当内存分配时，
//redis会统计一个总内存分配量，这是一个共享资源，所以需要原子性操作，
//在redis的内存分配代码里，当需要原子操作时，就需要打开线程安全变量。
zmalloc_set_oom_handler(redisOutOfMemoryHandler);
//是一个内存分配错误处理，当无法得到需要的内存量时，会调用redisOutOfMemoryHandler函数。
4、随机函数种子
srand(time(NULL)^getpid());//设置随机种子
gettimeofday(&tv,NULL);//获取当前日期
dictSetHashFunctionSeed(tv.tv_sec^tv.tv_usec^getpid());
server.sentinel_mode = checkForSentinelMode(argc,argv);
//设置哈希函数需要使用的随机种子 服务器的启动模式：单机模式、Cluster模式、sentinel模式
5、初始化服务器配置
initServerConfig();
//在该函数中除了进行属性的初始化外，主要初始化了命令表。
//调用了函数populateCommandTable，将命令集分布到一个hash table中。
//避免使用if分支来做命令处理的效率底下问题，而放到hash table中，在理想的情况下只需一次就能定位命令的处理函数。

initServerConfig()功能详细介绍：

  • 初始化服务器的状态

  • 初始化LRU时间

  • 设置保存条件

  • 初始化和复制相关的状态

  • 初始化PSYNC命令使用的backlog（回溯）

  • 设置客户端的输出缓冲区限制

  • 初始化浮点常量

  • 初始化命令表

  • 初始化慢查询日志

  • 初始化调试项

  • 初始化内存Swap相关设置

这个函数初始化了一个全局变量 struct redisServer server

struct redisServer {
    /* General */
    redisDb *db;
    dict *commands;             /* Command table hahs table */
    aeEventLoop *el;
    unsigned lruclock:22;       /* Clock incrementing every minute, for LRU */
    unsigned lruclock_padding:10;
    int shutdown_asap;          /* SHUTDOWN needed ASAP */
    int activerehashing;        /* Incremental rehash in serverCron() */
    char *requirepass;          /* Pass for AUTH command, or NULL */
    char *pidfile;              /* PID file path */
    int arch_bits;              /* 32 or 64 depending on sizeof(long) */
    int cronloops;              /* Number of times the cron function run */
    char runid[REDIS_RUN_ID_SIZE+1];  /* ID always different at every exec. */
    int sentinel_mode;          /* True if this instance is a Sentinel. */
    /* Networking */
    int port;                   /* TCP listening port */
    char *bindaddr;             /* Bind address or NULL */
    char *unixsocket;           /* UNIX socket path */
    mode_t unixsocketperm;      /* UNIX socket permission */
    int ipfd;                   /* TCP socket file descriptor */
    int sofd;                   /* Unix socket file descriptor */
    int cfd;                    /* Cluster bus lisetning socket */
    list *clients;              /* List of active clients */
    list *clients_to_close;     /* Clients to close asynchronously */
    list *slaves, *monitors;    /* List of slaves and MONITORs */
    redisClient *current_client; /* Current client, only used on crash report */
    char neterr[ANET_ERR_LEN];  /* Error buffer for anet.c */
    ……
    int bug_report_start; /* True if bug report header was already logged. */
    int watchdog_period;  /* Software watchdog period in ms. 0 = off */
};

在这个函数中，对server变量进行了部分成员的初始化，其中:

  • runid：运行该redis服务器端程序的唯一标识，即每次启动都会一个唯一ID，用来区分不同的redis服务器端程序

  • maxidletime：最大空闲时间，就是client连接到server时，如果超出这个值，就会被自动断开，当然，master和slave节点不包括；如果client有阻塞命令在运行，也不会断开

saveparams：这个存储的是redis服务器端程序从配置文件中读取的持久化参数，如配置文件所述

save 900 1
save 300 10
save 60 10000

lruclock：是redis实现LRU算法所需的，每个redis object都带有一个lruclock，用来从内存中移除空闲的对象

6、sentinel_mode

是否开启redis的哨兵模式，也就是是否监测，通知，自动错误恢复，是用来管理多个redis实例的方式。

if (server.sentinel_mode) {
    initSentinelConfig();
    initSentinel();
}
7、读取参数选项
if (argc >= 2) {
    int j = 1; /* First option to parse in argv[] */
    sds options = sdsempty();
    char *configfile = NULL;

    /* Handle special options --help and --version */
    if (strcmp(argv[1], "-v") == 0 ||
        strcmp(argv[1], "--version") == 0) version();
    if (strcmp(argv[1], "--help") == 0 ||
        strcmp(argv[1], "-h") == 0) usage();
    if (strcmp(argv[1], "--test-memory") == 0) {
        if (argc == 3) {
            memtest(atoi(argv[2]),50);
            exit(0);
        } else {
            fprintf(stderr,"Please specify the amount of memory to test in megabytes.\n");
            fprintf(stderr,"Example: ./redis-server --test-memory 4096\n\n");
            exit(1);

        configfile = argv[j++];
    /* All the other options are parsed and conceptually appended to the
     * configuration file. For instance --port 6380 will generate the
     * string "port 6380\n" to be parsed after the actual file name
     * is parsed, if any. */
    while(j != argc) {
        if (argv[j][0] == '-' && argv[j][1] == '-') {
            /* Option name */
            if (sdslen(options)) options = sdscat(options,"\n");
            options = sdscat(options,argv[j]+2);
            options = sdscat(options," ");
        } else {
            /* Option argument */
            options = sdscatrepr(options,argv[j],strlen(argv[j]));
            options = sdscat(options," ");
        }
        j++;
    }
    if (server.sentinel_mode && configfile && *configfile == '-') {
        redisLog(REDIS_WARNING,
            "Sentinel config from STDIN not allowed.");
        redisLog(REDIS_WARNING,
            "Sentinel needs config file on disk to save state.  Exiting...");
        exit(1);
    }
    if (configfile) server.configfile = getAbsolutePath(configfile);
    resetServerSaveParams();
    loadServerConfig(configfile,options);
    sdsfree(options);
} else {
    redisLog(REDIS_WARNING, "Warning: no config file specified, using the default config. In order to specify a config file use %s /path/to/%s.conf", argv[0], server.sentinel_mode ? "se
ntinel" : "redis");
}
8、服务器初始化
if (server.daemonize) daemonize();//daemonize()用于在shell启动时后台运行
initServer();
if (server.daemonize) createPidFile();
redisAsciiArt();

initServer主要做以下工作:

  • 设置信号处理程序，如sighup, sigpipe等

  • 打开系统日志文件

  • 继续初始化server结构，如server.clients, server.slaves, server.monitors等

  • 创建共享对象，这里的共享对象是一个struct sharedObjectsStruct shared;它用于全局文本信息的保存，避免每次发送固定格式的信息给clients都需要创建一个新的字符串。如:

shared.crlf = createObject(REDIS_STRING,sdsnew("\r\n"));
shared.ok = createObject(REDIS_STRING,sdsnew("+OK\r\n"));

还包括了从1到10000的redis 整数对象的创建，在这部分范围的整数经常被用到，所以先创建了，可以反复重用。

  • 调整系统对文件操作参数的约束大小，如最大打开的文件数。

  • 创建ae事件循环

  • 初始化server.db

  • 开启监听redis端口或者unix socket

  • 创建Pub/Sub通道

  • 初始化server结构的统计变量，如执行的命令数，连接数，过期键等等，还有跟踪每秒操作的时间和命令数

  • 创建ae时间事件，也是redis的核心循环，该过程是serverCron，每秒调用次数由一个叫REDIS_HZ的宏决定，默认是每10微秒超时，即每10微秒该ae时间事件处理过程serverCron会被过期调用

  • 创建ae文件事件，对redis的TCP或者unix socket端口进行监听，使用相应的处理函数注册。每次得到clients连接后，都会创建ae文件事件，异步接收命令

  • 针对配置文件，设置是否开启aof和最大使用内存

  • 如果有集群设置，初始化集群。初始化lua脚本处理，初始化slowlog和bio(background io)。bio是异步io操作，用于redis读取或存取时的io操作

  • 如果开启了VM，则初始化虚拟内存相关的IO/Thread
9、serverCron核心循环
#define run_with_period(_ms_) if (!(server.cronloops%((_ms_)/(1000/REDIS_HZ))))

这个宏类似于条件判断，每ms时间执行一次后续的操作。如:

run_with_period(100) trackOperationsPerSecond();

每百微秒，执行一次跟踪操作函数，记录这段时间的命令执行情况。这个循环有以下任务需要执行:

  • 如果设置了watchdog_period，那么每过watchdog_period，都会发送sigalrm信号，该信号又会得到处理，来记录此时执行的命令。这个过程主要是为了了解一些过长命令的执行影响服务器的整体运行，是一个debug过程。

  • 每百微秒记录过去每秒的命令执行情况。

  • 更新统计变量，如内存使用总数，更新server.lruclock

  • 是否得到关闭程序的信号，如果是，就进入关闭程序的节奏，如aof，rdb文件的处理，文件描述符的关闭等

  • 每5秒输出一次redis数据库的使用情况，连接数，总键值数

  • 每次都尝试resize每个db，resize是让每个db的dict结构进入rehash状态，rehash是为了扩容dict或者缩小dict。然后每次都尝试执行每个db的rehash过程一微秒。

  • 每次调用clientCron例程，这是一个对server.clients列表进行处理的过程。再每次执行clientCron时，会对server.clients进行迭代，并且保证 1/(REDIS_HZ*10) of clients per call。也就是每次执行clientCron，如果clients过多，clientCron不会遍历所有clients，而是遍历一部分clients，但是保证每个clients都会在一定时间内得到处理。处理过程主要是检测client连接是否idle超时，或者block超时，然后会调解每个client的缓冲区大小。

  • 对aof,rdb等过程进行开启或终结。

  • 如果是master节点的话，就开始对过期的键值进行处理，与处理clients类似，不是多所有有时间限制的键值进行迭代，而是在一个限定的数量内迭代一部分，保证一定时间内能检测所有键值。

  • 对异步io过程中可能需要关闭的clients进行处理。

  • 每秒调用复制例程和集群例程，每0.1秒调用哨兵例程。

10、aeMain
aeSetBeforeSleepProc(server.el,beforeSleep);
aeMain(server.el);
aeDeleteEventLoop(server.el);

在每次ae循环进入阻塞时，都会先执行beforeSleep()，在该函数中，会对unblock的clients(指使用blpop等阻塞命令的clients)进行处理，并且执行fsync函数，同步内存到磁盘上。

11、总结

redis启动->初始化server结构部分变量->从命令行和配置文件中读取配置选项进行初始化->创建ae事件循环->创建ae时间事件调用redis运行的必需任务(serverCron)和创建ae文件事件监听端口->收到client连接时，创建对应的文件事件来纳入ae事件循环进行异步接受->收到关闭请求，在serverCron中执行关闭步骤->redis关闭

作者在代码中处处对运行例程进行约束，保证不过长的陷入某一个不友好的命令中，如检查过期键值和处理过多的clients。

　　

 参考文章

http://olylakers.iteye.com/blog/1228198

http://blog.csdn.net/zwan0518/article/details/50281175

http://www.wzxue.com/%E8%A7%A3%E8%AF%BBredis%E8%BF%90%E8%A1%8C%E6%A0%B8%E5%BF%83%E5%BE%AA%E7%8E%AF%E8%BF%87%E7%A8%8B/

http://studentdeng.github.io/blog/2013/08/19/redis-start-up/

http://olylakers.iteye.com/blog/1277256

weixin_34107739
关注
Redis启动过程详解
11-11
### Redis启动过程详解 #### 一、概述 Redis是一款高性能的键值存储系统，它具有内存数据存储、网络通信及复杂的数据结构操作等功能。本文旨在深入解析Redis的启动过程，帮助读者更好地理解其内部机制。文章主要...
redis主从哨兵模式重启步骤
LuoGJ的博客
05-28 1720
6.查看redis信息，redis-ci 6380进入后，info，主要看的#Replication。7.查看哨兵信息，redis-ci 6380进入后，info，主要看最后的#Sentinel。4.然后再启动redis：先启动master，再启动slave。：redis-cli 6380进入后，执行shutdown。：redis-cli 6379进入后，执行shutdown。3.再停redis服务：先停slave，再停master。2.先停哨兵服务：哨兵挨个儿停，没有先后顺序。
redis主从复制，一主多仆启动流程
G_GUi的博客
01-14 1193
一、安装redis 二、复制修改配置文件 三、添加conf配置文件 四、开启主从复制 五、薪火相传 六、反客为主 7、哨兵模式
redis启动以及使用
cpy1356140308的博客
06-06 5465
上述命令将"John"、"Alice"和"Bob"的分数存储在有序集合"scores"中，并按照分数从低到高进行排序。您可以从Redis官方网站（https://redis.io）下载适用于您操作系统的安装包，并按照官方提供的安装指南进行安装。4. 检查Redis是否正在运行：Redis启动后，您可以在终端窗口中看到一些输出信息，其中包括Redis的版本号、端口号和绑定地址等信息。5. 测试Redis连接：要确保Redis服务器正在运行并且可以正常连接，您可以在另一个终端窗口中打开Redis客户端。
漫话Redis源码之十九
认知 行动 坚持
11-28 666
#if __linux__ if (!(tmp = strdup(program_invocation_name))) goto syerr; program_invocation_name = tmp; if (!(tmp = strdup(program_invocation_short_name))) goto syerr; program_invocation_short_name = tmp; #elif __APPLE__ if (!(tmp = strdup(...
Linux C程序修改进程名称
zz460833359的博客
12-25 1193
Linux C程序修改进程名称 1、前言 2、命令行参数(argc, argv)以及环境变量(environ)介绍 2.1、C程序典型的存储空间布局 2.2、argc, argv介绍 2.3、environ介绍 2.4、编写程序验证修改进程名是否可以成功 2.5、查看进程名变长之后影响了那部分内存的数据 2.6、结论 3、Redis修改进程名的做法 4、总结 1、前言 Linux C程序运行时，进程的名称通常就是argv[0]，而通过修改内存中argv[0]存储的内容就可以修改进程名了。下面对此作详细介绍。
Redis服务器的启动过程分析
09-10
Redis是一款开源的高性能键值存储数据库，它的启动过程是确保高性能和正确性的重要一环。本文将对Redis服务器的启动过程进行深入分析，包括初始化全局配置、加载配置文件、初始化服务器、加载数据和开始网络监听等...
redis启动流程介绍
01-19
* 无效的配置项或者不合理的配置值会导致redis无法正常启动 3. initServer()初始化服务 *　安装信号处理函数  *　创建共享对象，redis预分配好常用的对象用于共享，以节省内存  *　根据maxc lients配置调整max ...
Redis启动服务.bat
08-03
在本地安装了redis数据库后,为了简化服务启动服务启动过程,写了这个启动脚本
Redis怎么启动以及使用？
weixin_51351637的博客
10-23 1万+
特征： 键值型，value支持多种不同的数据结构 单线程，每个命令具备原子性（核心命令执行依然是单线程） 低延迟，速度快（基于内存、IO多路复用、良好的编码） 支持数据持久化 支持主从集群（从节点可以备份主节点的数据，也是安全性的考虑）、分片集群(把数据的拆分，1Tb的数据拆成很多份) 支持多语言客户端 核心的影响就是内存，其他就是辅助
redis里的小秘密:设置进程名
TuxedoLinux的博客
08-29 1269
[0x00]redis里的小秘密:设置进程名 linux macOS下设置进程名 base on redis source code 5.0.3 在redis server启动过程中, 有一个宏和一个函数显得很奇特, 他们是server.c中main()函数中的第一个宏和第一个函数, 宏INIT_SETPROCTITLE_REPLACEMENT和函数spt_init(argc, a...
redis源码分析
u013860464的博客
03-14 2394
主流程 server.c 全局变量server，只有一个，记录本服务的信息。 1.spt_init初始化全局环境变量，关联变量environ 2.设置时区 3.初始化oom_handler 4.其他初始化：随机数种子，crc64，acl，服务配置，tls，哨兵模式，帮助，加载配置文件，moduleInitModulesSystem模块系统初始化 5.关键函数initServer，初始化核心。 6.创建pid文件 7.设置cpu亲和性 8.执行事件循环核心 9.异常情况退出释放结束。 initServer 1
深入学习 Redis - 主从结构配置、流程、底层原理（全网最详细）
CYK_byte的博客
08-11 9098
单点问题可用性：如果这个机器挂了，意味着服务就中断了.性能：支持的并发量也是比较有限的.因此引入分布式系统，主要也是为了解决上述的单点问题~ 分布式系统中，往往需要多个服务器来部署 redis 服务，从而构成redis 集群，此时就可以让这个集群给整个分布式系统中的其他服务，提供更稳定 / 更高效的数据存储功能.本章主要来讲一下 redis 部署方式中的主从模式~
Redis哨兵部署
qq_33534139的博客
06-21 605
哨兵是Redis集群架构中非常重要的一个组件，哨兵的出现主要是解决了主从复制出现故障时需要人为干预的问题。
centos7 redis-sentinel哨兵模式搭建
sanglimeng的博客
09-27 1817
前言 实际MES项目需要用到redis缓存，单机redis不适合正式环境部署，因此考虑 Redis 服务器集群，实现主从配置和容灾部署，使得主机出现故障时，可自动进行容灾切换，下面就详细讲解一下如何利用 Redis 来实现。 ...
淘淘商城项目启动所需要的Linux命令以及启动的Tomcat顺序
最白の白菜的博客
09-07 332
启动zookeper 1.开启一个标签页 运行命令zookeeper-3.4.12/bin/zkServer.sh start-foreground 再开启一个标签页 运行zookeeper-3.4.12/bin/zkServer.sh status查看状态 如果显示standalone，继续下一个命令 启动Ningx服务器 进入到/usr/local/nginx/sbin 目录下，运行命令cd /usr/local/nginx/sbin 执行 ./nginx 从而启动nginx服务器 启动FTP服务器
mysql的连接以及redis服务的停止和启动
最新发布
m0_52730486的博客
04-24 539
p为密码，如果设置了密码，可直接在-p后链接输入，如：-p123456，用户没有设置密码，显示Enter password时，直接回车即可。通过redis-cli.exe命令默认连接的是本地的redis服务，并且使用默认6379端口。等，可以-p后面不直接输入密码，回车后，手动在Enter password：后面输入密码。win+R，输入cmd，打开cmd窗口，进入到 mysql bin目录的路径下。重启Redis后，再次连接Redis时，需加上密码，否则连接失败。第一步：启动mysql服务，可以通过“
Redis三种启动方式
热门推荐
binglong_world的专栏
04-16 2万+
1、直接启动 进入redis根目录，执行命令: ./redis-server 2、通过指定配置文件启动 可以为redis服务启动指定配置文件，例如配置为/etc/redis/6379.conf 进入redis根目录，输入命令： ./redis-server /etc/redis/6379.conf 如果更改了端口，使用`redis-cli`客户端连接时，也需要指定端口，例如： ./redis-cli -p 6380 3、使用redis启动脚本设置开机自启动 启动脚本 ...
centos6.5配置tomcat和redis的开机启动
qq_16613311的博客
08-22 149
https://blog.csdn.net/zbx931197485/article/details/78453653
redis启动的过程
03-23
redis启动的过程可以分为以下几个步骤[^1][^2]： 1. 加载配置文件：Redis会读取配置文件中的配置项，包括端口号、数据库路径等信息。 2. 初始化服务器：Redis会进行一些初始化操作，包括安装信号处理函数、创建共享对象等。 3. 加载数据：如果配置文件中指定了数据库路径，Redis会加载持久化的数据到内存中。 4. 启动事件循环：Redis会创建一个事件循环，用于处理客户端的请求。 5. 监听端口：Redis会根据配置文件中的端口号，开始监听客户端的连接请求。 6. 处理客户端请求：一旦有客户端连接到Redis服务器，服务器会接收并处理客户端的请求。 7. 响应客户端：Redis会根据客户端的请求进行相应的操作，并将结果返回给客户端。 通过将redis-server后台启动，可以在Xshell中启动服务后再启动客户端。这样可以同时进行服务端和客户端的操作，方便进行数据的存储和查询。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值