redis设计与实现——2

1.数据库

1.Redisserver{

Redisdb  db;这是一个集合,

Int  dbnum;这是数据库的数量,一共有16个

}

Redis可以通过select n切换数据库,

 

在服务器内部,客户端状态redisClient结构的db属性记录了客户端当前的目标数据库

redisClient{

Redisdb *db;

}

Redis没有可以返回客户端目标数据库的命令。

  1. 数据库键空间

看一下redisdb的结构是什么?

Redisdb{

Dict *dict; //保存的是所有的键值对

Dict *expires;//保存的是所有的过期时间,过期字典,value是过期时间

}

redisdb结构的dict字典保存了数据中中的所有键值对,我们将这个键值对称为键空间。

键空间的键也就是数据库的键,每个键都是一个字符串对象,键空间的值,也就是数据库的值,每个值可以是字符串对象等。

 

3.设置键的生存时间和过期时间,可以通过EXPIRE(以秒为单位)命令或者PEXPIRE(以毫秒为单位)命令,多少时间后,过期

Set key value ;EXPIRE key 5

SETEX可以在设置一个字符串建的同时设置过期时间

 

4.EXPIREAT(秒)和PEXPIREAT(毫秒),设置过期时间,是到这个时间,是一个时间戳,就过期

 

  1. 这四个命令,都是根据PEXPIREAT命令来实现的。无论执行的哪一个命令,经过转换后,最终执行的效果都和PEXPIREAT一样。

 

 

6.保存过期时间

 

7.移除过期时间persist可以移除一个键的过期时间

 

8.ttl和pttl都可以计算剩余过期时间

9.过期键的删除策略

  1.定时删除:在设置过期时间的同时,创建一个定时器,让定时器在键的过期时间来临时,删除

  2.惰性删除:在对键进行操作时,判断改建是个过期

  3.定期删除:每隔一段时间,检查一次数据库

 

定时删除:对cpu最不友好,过期键较多,删除时,会占用cpu时间

惰性删除:对内存最不友好,如果内存吃紧,

定期删除:折中

1.aof和rdb

Rbd:RDB 持久化

SAVE和BGSAVE都可用于生成RDB文件,但2个命令区别是:

SAVE 会阻塞redis服务器进程,期间不能处理任何命令请求,知道RDB 文件生成完毕

BGSAVE 会派生出一个子进程,子进程负责创建RDB文件,父进程仍然处理请求。正由于这一点,redis服务器可以配置sava参数,任意满足一个条件,都会执行BGSAVE。条件格式是多少时间内,多少次修改。有2个计数器实现。

 

在redis重启时,会自动加载RDB文件。此外,当RDB和AOF同事开启时,由于AOF更新频率高,redis服务器会有限使用AOF文件还原数据库

Aof:

 

RDB的持久化是通过最终的键值对记录数据库的状态。但AOF类似于mysql的binlog。通过记录服务器执行的写命令来记录数据库状态

AOF是一个事件循环loop,主要有追加到缓冲区aof_buf和同步保存到AOF文件里面2个步骤

 

配置文件的appendfsync 即代表追加到缓冲区后,是否立刻同步保存到AOF文件(现在的操作系统的write操作都是现在保存到内存缓冲区,再满足一定条件,同步到磁盘的)

 

AOF文件重写 BGREWRITEAOF

但这时会产生一个新的问题,即AOF文件越来越大。AOF重写会产生一个新的AOF文件,保存的的数据库状态相同,但不会有冗余命令

 

 

  1. RDB持久化,保存的是数据
  1. 我们将服务器中的非空数据库以及他们的键值对统称为数据库状态。Redis中的数据是存储在内存中的,一旦关闭redis,数据库状态就会消失,所以需要把数据存储到磁盘上。
  2. Rdb文件是一个经过压缩的二进制文件,通过该文件可以还远生成数据库。
  3. rbd文件的创建和载入

Save和bgsave,save会阻塞redis服务器进程,知道rdb文件创建为止,在期间,不处理任何命令

Bgsave,会派生一个子进程,负责创建rdb文件

Aof更新频率大于rdb,所有优先级大于rdb,开启aof,会优先使用aof

4.rdb载入期间会一直出于阻塞状态

5.自动间隔保存

   900s内,对数据库至少修改了1次

   300s内,                  10

   60                        10000

6.rdb文件结构

 

Redis五个字符,标识为,标志是一个rdb文件。

 

Db-version,整数值,记录了rdb文件的版本号,

Database部分包含着林哥或任意多个数据库。以及各个数据库中的键值对。If服务器数据库状态为0,此部分为0

Eof:标志着借结束了

Cheak-sum:保存着校验和

 

 

 

  1. AOF,保存的是命令
  1. 被保存的所有命令都是以redis的命令请求协议格式保存的。
  2. Aof是依赖于追加,文件写入,文件同步实现的。
  3. 文件追加:将被执行的命令,追加到aof-buf缓冲区末尾
  4. 文件写入和同步,在一定的时间内,会考虑是否将缓冲区内的数据写入到aof文件中
  5. Aof文件载入

 

 

 

 

 

6.aof文件重写,当命令越来越多,文件提交会暴增,通过重写,解决问题。重新创建一个文件,这两个文件数据库状态一致,新文件不包含冗余命令

 

5.事件(套接字和我们学的java中的socket,嗯)

1.redis就是一个事件驱动程序,服务器需要两类事件,一种是文件事件,一种是时间事件

2.文件事件,redis服务器通过套接字与客户端(或者服务器)进行连接,而文件事件就是服务器对套接字操作的抽象,服务器和客户端通信,会产生相应的文件事件,服务器通过监听并处理,完成一系列网络通信操作。

3.时间事件:一些操作,需要在给定的时间进行操作,而时间事件就是服务器对这类定时操作的抽象

4.文件事件通过I/O多路复用程序,同时监听多个套接字,并根据套接字的任务来套接字关联不同的事件处理器

5.文件事件以单线程方式运行,但是通过I/O多路复用,可以监听多个套接字,将这些套接字放到一个队列里面,以有序的,同步,每次一个的套接字分派。

6.文件件处理器类型

 连接应答处理器

命令请求处理器

命令回复处理器

 

7.时间事件

持续运行的Redis服务器会定期对自身的资源和状态进行检查和调整,这些定期的操作由serverCron函数负责执行,它的主要工作包括:

 

更新服务器的统计信息(时间、内存占用、数据库占用)

清理数据库的过期键值对

AOF、RDB持久化

如果是主从服务器,对从服务器进行定期同步

如果是集群模式,对进群进行定期同步和连接

Redis服务器将时间事件放在一个链表中,当时间事件执行器运行时,会遍历整个链表。时间事件包括:

 

周期性事件(Redis一般只执行serverCron时间事件,serverCron时间事件是周期性的)

定时事件

8.

文件事件和时间事件之间是合作关系,服务器会轮流处理这两种事件,并且处理事件的过程中不会发生抢占。

时间事件的实际处理事件通常会比设定的到达时间晚一些

9redis单线程快?

纯内存操作

核心是基于非阻塞的IO多路复用机制

单线程避免了多线程的频繁上下文切换问题

 

深度学习是机器学习的一个子领域,它基于人工神经网络的研究,特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征,这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分: 1. **神经网络(Neural Networks)**:深度学习的基础是人工神经网络,它是由多个层组成的网络结构,包括输入层、隐藏层和输出层。每个层由多个神经元组成,神经元之间通过权重连接。 2. **前馈神经网络(Feedforward Neural Networks)**:这是最常见的神经网络类型,信息从输入层流向隐藏层,最终到达输出层。 3. **卷积神经网络(Convolutional Neural Networks, CNNs)**:这种网络特别适合处理具有网格结构的数据,如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络(Recurrent Neural Networks, RNNs)**:这种网络能够处理序列数据,如时间序列或自然语言,因为它们具有记忆功能,能够捕捉数据中的时间依赖性。 5. **长短期记忆网络(Long Short-Term Memory, LSTM)**:LSTM 是一种特殊的 RNN,它能够学习长期依赖关系,非常适合复杂的序列预测任务。 6. **生成对抗网络(Generative Adversarial Networks, GANs)**:由两个网络组成,一个生成器和一个判别器,它们相互竞争,生成器生成数据,判别器评估数据的真实性。 7. **深度学习框架**:如 TensorFlow、Keras、PyTorch 等,这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数(Activation Functions)**:如 ReLU、Sigmoid、Tanh 等,它们在神经网络中用于添加非线性,使得网络能够学习复杂的函数。 9. **损失函数(Loss Functions)**:用于评估模型的预测与真实值之间的差异,常见的损失函数包括均方误差(MSE)、交叉熵(Cross-Entropy)等。 10. **优化算法(Optimization Algorithms)**:如梯度下降(Gradient Descent)、随机梯度下降(SGD)、Adam 等,用于更新网络权重,以最小化损失函数。 11. **正则化(Regularization)**:技术如 Dropout、L1/L2 正则化等,用于防止模型过拟合。 12. **迁移学习(Transfer Learning)**:利用在一个任务上训练好的模型来提高另一个相关任务的性能。 深度学习在许多领域都取得了显著的成就,但它也面临着一些挑战,如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值