5.Redis-事务和删除策略及服务器配置

事务

事务简介

什么是事务

Redis执行指令过程中，多条连续执行的指令被干扰，打断，插队

  redis事务就是一个命令执行的队列，将一系列预定义命令包装成一个整体（一个队列）。当执行时，一次性按照添加顺序依次执行，中间不会被打断或者干扰。

  一个队列中，一次性、顺序性、排他性的执行一系列命令

事务基本操作

开启事务

multi

作用

• 设定事务的开启位置，此指令执行后，后续的所有指令均加入到事务中

执行事务

exec

作用

• 设定事务的结束位置，同时执行事务。与multi成对出现，成对使用

  注意：加入事务的命令暂时进入到任务队列中，并没有立即执行，只有执行exec命令才开始执行

事务定义过程中发现出了问题，怎么办？
取消事务

discard

作用

• 终止当前事务的定义，发生在multi之后，exec之前

事务的工作流程

事务的注意事项

定义事务的过程中，命令格式输入错误怎么办？

语法错误

• 指命令书写格式有误

处理结果

• 如果定义的事务中所包含的命令存在语法错误，整体事务中所有命令均不会执行。包括那些语法正确的命令。

定义事务的过程中，命令执行出现错误怎么办？

运行错误

• 指命令格式正确，但是无法正确的执行。例如对list进行incr操作

处理结果

• 能够正确运行的命令会执行，运行错误的命令不会被执行

  注意：已经执行完毕的命令对应的数据不会自动回滚，需要程序员自己在代码中实现回滚。

手动进行事务回滚

记录操作过程中被影响的数据之前的状态

• 单数据：string
• 多数据：hash、list、set、zset

设置指令恢复所有的被修改的项

• 单数据：直接set（注意周边属性，例如时效）
• 多数据：修改对应值或整体克隆复制

锁

基于特定条件的事务执行

业务场景（补货问题）

  天猫双11热卖过程中，对已经售罄的货物追加补货，4个业务员都有权限进行补货。补货的操作可能是一系列的操作，牵扯到多个连续操作，如何保障不会重复操作？

业务分析

• 多个客户端有可能同时操作同一组数据，并且该数据一旦被操作修改后，将不适用于继续操作
• 在操作之前锁定要操作的数据，一旦发生变化，终止当前操作

基于特定条件的事务执行——锁

解决方案

对 key 添加监视锁，在执行exec前如果key发生了变化，终止事务执行

watch key1 [key2……]

取消对所有 key 的监视

unwatch

Tips 18：

• redis 应用基于状态控制的批量任务执行

业务场景（抢购超卖问题）

  天猫双11热卖过程中，对已经售罄的货物追加补货，且补货完成。客户购买热情高涨，3秒内将所有商品购买完毕。本次补货已经将库存全部清空，如何避免最后一件商品不被多人同时购买？【超卖问题】

业务分析

• 使用watch监控一个key有没有改变已经不能解决问题，此处要监控的是具体数据（如果有多的商品一个人买到，其他人同时抢购富足的商品也会被拒绝操作）
• 虽然redis是单线程的，但是多个客户端对同一数据同时进行操作时，如何避免不被同时修改？

基于特定条件的事务执行——分布式锁

解决方案

使用 setnx 设置一个公共锁

setnx lock-（key value）
例：
set num 10
setnx lock-num 1

利用setnx命令的返回值特征，有值则返回设置失败，无值则返回设置成功

• 对于返回设置成功的，拥有控制权，进行下一步的具体业务操作
• 对于返回设置失败的，不具有控制权，排队或等待

操作完毕通过del操作释放锁

del lock-key

注意：上述解决方案是一种设计概念，依赖规范保障，具有风险性

Tips 19：

• redis 应用基于分布式锁对应的场景控制

业务场景(宕机未解锁)

  依赖分布式锁的机制，某个用户操作时对应客户端宕机，且此时已经获取到锁。如何解决？

业务分析

• 由于锁操作由用户控制加锁解锁，必定会存在加锁后未解锁的风险
• 需要解锁操作不能仅依赖用户控制，系统级别要给出对应的保底处理方案

基于特定条件的事务执行——分布式锁改良

解决方案

使用 expire 为锁key添加时间限定，到时不释放，放弃锁

expire lock-key second
pexpire lock-key milliseconds

  由于操作通常都是微秒或毫秒级，因此该锁定时间不宜设置过大。具体时间需要业务测试后确认。

• 例如：持有锁的操作最长执行时间127ms，最短执行时间7ms。
• 测试百万次最长执行时间对应命令的最大耗时，测试百万次网络延迟平均耗时
• 锁时间设定推荐：最大耗时120%+平均网络延迟110%
• 如果业务最大耗时<<网络平均延迟，通常为2个数量级，取其中单个耗时较长即可

Redis 删除策略

过期数据

Redis中的数据特征

Redis是一种内存级数据库，所有数据均存放在内存中，内存中的数据可以通过TTL指令获取其状态

• XX ：具有时效性的数据
• -1 ：永久有效的数据
• -2 ：已经过期的数据 或 被删除的数据 或 未定义的数据

过期的数据真的删除了吗？

  内存并不紧张时不会删除过期数据。

数据删除策略

1. 定时删除
2. 惰性删除
3. 定期删除

时效性数据的存储结构

数据删除策略的目标

  在内存占用与CPU占用之间寻找一种平衡，顾此失彼都会造成整体redis性能的下降，甚至引发服务器宕机或内存泄露

定时删除

  创建一个定时器，当key设置有过期时间，且过期时间到达时，由定时器任务立即执行对键的删除操作

  优点：节约内存，到时就删除，快速释放掉不必要的内存占用

  缺点：CPU压力很大，无论CPU此时负载量多高，均占用CPU，会影响redis服务器响应时间和指令吞吐量

  总结：用处理器性能换取存储空间 （拿时间换空间）

惰性删除

数据到达过期时间，不做处理。等下次访问该数据时

• 如果未过期，返回数据
• 发现已过期，删除，返回不存在

  优点：节约CPU性能，发现必须删除的时候才删除
  缺点：内存压力很大，出现长期占用内存的数据

  总结：用存储空间换取处理器性能（拿空间换时间）

定期删除

两种方案都走极端，有没有折中方案？

  周期性轮询redis库中的时效性数据，采用随机抽取的策略，利用过期数据占比的方式控制删除频度

  特点1：CPU性能占用设置有峰值，检测频度可自定义设置
  特点2：内存压力不是很大，长期占用内存的冷数据会被持续清理

  总结：周期性抽查存储空间（随机抽查，重点抽查）

删除策略比对

逐出算法

新数据进入检测

加粗样式当新数据进入redis时，如果内存不足怎么办？

  Redis使用内存存储数据，在执行每一个命令前，会调用freeMemoryIfNeeded()（空余空间是否徐满足需求）检测内存是否充足。如果内存不满足新加入数据的最低存储要求，redis 要临时删除一些数据为当前指令清理存储空间。清理数据的策略称为逐出算法（淘汰算法）。

  注意：逐出数据的过程不是100%能够清理出足够的可使用的内存空间，如果不成功则反复执行。当对所有数据尝试完毕后，如果不能达到内存清理的要求，将出现错误信息。

影响数据逐出的相关配置

最大可使用内存

maxmemory

  占用物理内存的比例，默认值为0，表示不限制。生产环境中根据需求设定，通常设置在50%以上。

每次选取待删除数据的个数

maxmemory-samples

  选取数据时并不会全库扫描，导致严重的性能消耗，降低读写性能。因此采用随机获取数据的方式作为待检测删除数据

删除策略

maxmemory-policy

  达到最大内存后的，对被挑选出来的数据进行删除的策略

影响数据逐出的相关配置

检测易失数据（可能会过期的数据集server.db[i].expires ）

• ① volatile-lru：挑选最近最少使用的数据淘汰（Least Recently Used）
• ② volatile-lfu：挑选最近使用次数最少的数据淘汰（Least Frequently Used）
• ③ volatile-ttl：挑选将要过期的数据淘汰
• ④ volatile-random：任意选择数据淘汰

检测全库数据（所有数据集server.db[i].dict ）

• ⑤ allkeys-lru：挑选最近最少使用的数据淘汰
• ⑥ allkeys-lfu：挑选最近使用次数最少的数据淘汰
• ⑦ allkeys-random：任意选择数据淘汰

放弃数据驱逐

• ⑧ no-enviction（驱逐）：禁止驱逐数据（redis4.0中默认策略），会引发错误OOM（Out Of Memory）

maxmemory-policy volatile-lru//一般配置（常用）

数据逐出策略配置依据

  使用INFO命令输出监控信息，查询缓存 hit 和 miss 的次数，根据业务需求调优Redis配置

Redis 核心配置

服务器基础配置

服务器端设定

//设置服务器以守护进程的方式运行
daemonize yes|no
//绑定主机地址
bind 127.0.0.1
// 设置服务器端口号
port 6379
//设置数据库数量
databases 16

日志配置

设置服务器以指定日志记录级别

loglevel debug|verbose|notice|warning

日志记录文件名

logfile 端口号.log

  注意：日志级别开发期设置为 verbose 或 debug即可，生产环境中配置为notice，简化日志输出量，降低写日志IO的频度

客户端配置

  设置同一时间最大客户端连接数，默认无限制。当客户端连接到达上限，Redis会关闭新的连接

maxclients 0

客户端闲置等待最大时长，达到最大值后关闭连接。如需关闭该功能，设置为 0

timeout 300

多服务器快捷配置

  导入并加载指定配置文件信息，用于快速创建redis公共配置较多的redis实例配置文件，便于维护

include /path/server-端口号.conf

配置

port 6379 #端口号
daemonize yes #启用守护线程
logfile "6379.log" #日志文件的名称
dir /home/zyj/redis/redis-5.0.5/date #设置持久化数据保存的位置
dbfilename dump-6379.rdb #设置RDB的文件名
save 10 2 #当 10 秒内，2个数据发生哪个变化就进行保存
appendonly yes #开启AOF
appendfsync everysec #每秒将缓冲区中的指令同步到AOF文件中（默认配置）
appendfilename appendonly-6379.aof #aof文件名 建议 appendonly-端口号.aof

port 6379
daemonize yes
logfile "6379.log"
dir /home/zyj/redis/redis-5.0.5/date
dbfilename dump-6379.rdb
save 10 2
appendonly yes
appendfsync everysec
appendfilename appendonly-6379.aof