《2019/04/25》redis的高级特性及应用场景

最新推荐文章于 2022-07-22 17:57:26 发布

guo_xiaozhong

最新推荐文章于 2022-07-22 17:57:26 发布

阅读量156

点赞数

分类专栏： java技术 # ------redis 文章标签： redis

本文链接：https://blog.csdn.net/weixin_42273782/article/details/89511749

版权

java技术同时被 2 个专栏收录

17 篇文章 0 订阅

订阅专栏

------redis

5 篇文章 0 订阅

订阅专栏

redis的高级特性及应用场景

参考自 https://www.cnblogs.com/tianciliangen/p/7942560.html 。
https://www.cnblogs.com/PatrickLiu/p/8341951.html 。
基本复制，仅供自己学习使用。

文章目录

redis的高级特性及应用场景

redis一些通用命令

（1）语法：keys pattern，pattern可以是类似正则的匹配规则，可以是*，也可以是?，返回匹配规则的键值key的列表。

192.168.127.128:6379>keys *
1）"name"
2）"set2"
3）"set1"

192.168.127.128:6379>keys n*
1）"name"

192.168.127.128:6379>keys s*
1）"set2"
2）"set1"

192.168.127.128:6379>keys set?
1）"set2"
2）"set1"

192.168.127.128:6379>keys n?me
1）"name"

（2）语法：exists key [key …]，判断一个或者多个key是否存在，并返回存在key的个数，不存在返回0。
（3）语法：expire key seconds，给指定的key设置过期时间，单位是秒。用ttl命令可以查看剩余的时间，如果想更精确的、性能更好的倒计时功能，可以使用该功能。设置过期时间成功返回值为1，此命令可以多次执行，后面的过期值会覆盖前面的过期值。过期的数据会从Redis数据库里删除。
（4）语法：select index，在Redis中，逻辑划分为16个数据库，索引从0-15，我们在使用的过程中，可以针对不同的业务逻辑把数据缓存在不同的数据库，这是一个很好的架构设计，切记不要把所有的数据放在0号数据库里，不便于管理和分类。这16个数据库数据是分离的，不是共享的，或者说数据都是独立的。

192.168.127.128:6379>select 1
OK

192.168.127.128:6379[1]>

192.168.127.128:6379[1]>select 5
OK

192.168.127.128:6379[5]>

（5）语法：move key db,至指定名称为key的键值对转移到指定数据库db里面，db是数据下标索引。

//索引为0的数据库
192.168.127.128:6379>keys *
1）"name"
2）"age"

//索引为5的数据库
192.168.127.128:6379[5]>keys *
(empty list or set)

//在索引为5的数据库里面增加sex键值对，然后把其移动到索引为0的数据库
192.168.127.128:6379[5]>set sex nan
OK

192.168.127.128:6379[5]>keys *
1)"sex"

192.168.127.128:6379[5]>move sex 0
(integer)1

//索引为0的数据库
192.168.127.128:6379>keys *
1）"name"
2）"sex"    //从索引为5的数据已经移动到了索引为0的数据库
2）"age"

（6）语法：randomkey，随机返回当前数据库中的key，其实这个功能我们可以使用在抽奖的场景，如果在并发比较高，而且有要保证性能的情况下，我建议大家使用Redis的这个功能来完成抽奖的功能。有时候会返回重复的值，如果做抽奖需要做处理一下。
（7）语法：rename key newkey，重新给指定的key命名。
（8）语法：echo message，在当前介质上打印message信息。
（9）语法：dbsize，返回当前数据中键值对的个数，或者更准确的说是key的个数。
（10）语法：info [section]，可以获取当前数据的详细信息。
（11）语法：config get *，获取配置文件中的所有的配置数据。
（12）语法：flushdb，清空当前数据所有的键值对。
（13）语法：flushall，清空所有数据库的所有键值对。

redis高级特性

一、redis中键的生存时间（expire）

redis中可以使用expire命令设置一个键的生存时间，到时间后redis会自动删除它。

过期时间可以设置为秒或者毫秒精度。
过期时间分辨率总是 1 毫秒。
过期信息被复制和持久化到磁盘，当 Redis 停止时时间仍然在计算 (也就是说 Redis 保存了过期时间)。

expire 设置生存时间（单位/秒）

expire key seconds(秒)

ttl 查看键的剩余生存时间

ttl key

persist 取消生存时间

persist key

expireat [key] unix时间戳

EXPIREAT cache 1355292000     # 这个 key 将在 2012.12.12 过期

应用场景：

限时的优惠活动信息
网站数据缓存（对于一些需要定时更新的数据，例如：积分排行榜）
手机验证码
限制网站访客访问频率（例如：1分钟最多访问10次）

二、redis的事务（transaction）

redis中的事务是一组命令的集合。事务同命令一样都是redis的最小执行单元。一组事务中的命令要么都执行，要么都不执行。(例如：转账)

原理：
先将属于一个事务的命令发送给redis进行缓存，最后再让redis依次执行这些命令。

应用场景：

一组命令必须同时都执行，或者都不执行。
我们想要保证一组命令在执行的过程之中不被其它命令插入。

三、redis中数据的排序（sort）

四、发布 / 订阅模式

发布：publish

publish channel message

订阅：subscribe

subscribe channel [.....]

取消订阅：unsubscribe

unsubscribe [channel]

按照规则订阅：psubscribe

psubscribe channel ?

按照规则取消订阅：punsubscribe
注意：使用punsubscribe命令只能退订通过psubscribe 订阅的频道。

五、redis任务队列

任务队列：使用lpush和rpop(brpop)可以实现普通的任务队列。

brpop是列表的阻塞式(blocking)弹出原语。它是 RPOP命令的阻塞版本，当给定列表内没有任何元素可供弹出的时候，连接将被 BRPOP命令阻塞，直到等待超时或发现可弹出元素为止。

当给定多个 key 参数时，按参数 key 的先后顺序依次检查各个列表，弹出第一个非空列表的尾部元素。

优先级队列：

brpop key1 key2 key3 timeout

在这里插入图片描述

六、redis管道(pipeline)

redis的pipeline(管道)功能在命令行中没有，但是redis是支持管道的，在java的客户端(jedis)中是可以使用的。

测试发现：
1：不使用管道方式，插入1000条数据耗时328毫秒

// 测试不使用管道  
public static void testInsert() {  
    long currentTimeMillis = System.currentTimeMillis();  
    Jedis jedis = new Jedis("192.168.33.130", 6379);  
    for (int i = 0; i < 1000; i++) {  
        jedis.set("test" + i, "test" + i);  
    }  
    long endTimeMillis = System.currentTimeMillis();  
    System.out.println(endTimeMillis - currentTimeMillis);  
}

2：使用管道方式，插入1000条数据耗时37毫秒

// 测试管道  
public static void testPip() {  
    long currentTimeMillis = System.currentTimeMillis();  
    Jedis jedis = new Jedis("192.168.33.130", 6379);  
    Pipeline pipelined = jedis.pipelined();  
    for (int i = 0; i < 1000; i++) {  
        pipelined.set("bb" + i, i + "bb");  
    }  
    pipelined.sync();  
    long endTimeMillis = System.currentTimeMillis();  
    System.out.println(endTimeMillis - currentTimeMillis);  
}

在插入更多数据的时候，管道的优势更加明显：测试10万条数据的时候，不使用管道要40秒，实用管道378毫秒。

七、redis持久化（persistence）

redis支持两种方式的持久化，可以单独使用或者结合起来使用。
第一种：RDB方式（redis默认的持久化方式）
第二种：AOF方式

redis持久化之RDB

rdb方式的持久化是通过快照完成的，当符合一定条件时redis会自动将内存中的所有数据执行快照操作并存储到硬盘上。默认存储在dump.rdb文件中。(文件名在配置文件中dbfilename)
redis进行快照的时机（在配置文件redis.conf中）：

save 900 1  //表示900秒内至少一个键被更改则进行快照。  
save 300 10  //表示300秒内10条被更改则快照  
save 60 10000  //60秒内10000条

Redis自动实现快照的过程：

redis使用fork函数复制一份当前进程的副本(子进程)
父进程继续接收并处理客户端发来的命令，而子进程开始将内存中的数据写入硬盘中的临时文件
当子进程写入完所有数据后会用该临时文件替换旧的RDB文件，至此，一次快照操作完成。

注意：redis在进行快照的过程中不会修改RDB文件，只有快照结束后才会将旧的文件替换成新的，也就是说任何时候RDB文件都是完整的。这就使得我们可以通过定时备份RDB文件来实现redis数据库的备份。

RDB文件是经过压缩的二进制文件，占用的空间会小于内存中的数据，更加利于传输。

手动执行save或者bgsave命令让redis执行快照。

两个命令的区别在于，save是由主进程进行快照操作，会阻塞其它请求。bgsave是由redis执行fork函数复制出一个子进程来进行快照操作。
文件修复：

redis-check-dump

rdb的优缺点：

优点：由于存储的有数据快照文件，恢复数据很方便。

缺点：会丢失最后一次快照以后更改的所有数据。

redis持久化之AOF

aof方式的持久化是通过日志文件的方式。默认情况下redis没有开启aof，可以通过参数appendonly参数开启。

appendonly yes

aof文件的保存位置和rdb文件的位置相同，都是dir参数设置的，默认的文件名是appendonly.aof，可以通过appendfilename参数修改

appendfilename appendonly.aof

redis写命令同步的时机：

appendfsync always 每次都会执行  
appendfsync everysec 默认 每秒执行一次同步操作（推荐，默认）  
appendfsync no不主动进行同步，由操作系统来做，30秒一次

aof日志文件重写：

auto-aof-rewrite-percentage 100(当目前aof文件大小超过上一次重写时的aof文件大小的百分之多少时会再次进行重写，如果之前没有重写，则以启动时的aof文件大小为依据)  
auto-aof-rewrite-min-size 64mb

手动执行bgrewriteaof进行重写

重写的过程只和内存中的数据有关，和之前的aof文件无关。

所谓的“重写”其实是一个有歧义的词语，实际上， AOF 重写并不需要对原有的 AOF 文件进行任何写入和读取，它针对的是数据库中键的当前值。
文件修复：

redis-check-aof

动态切换redis持久方式，从 RDB 切换到 AOF（支持Redis 2.2及以上）

CONFIG SET appendonly yes  
CONFIG SET save ""（可选）

注意：

1、当redis启动时，如果rdb持久化和aof持久化都打开了，那么程序会优先使用aof方式来恢复数据集，因为aof方式所保存的数据通常是最完整的。如果aof文件丢失了，则启动之后数据库内容为空。

2、如果想把正在运行的redis数据库，从RDB切换到AOF，建议先使用动态切换方式，再修改配置文件，重启数据库。(不能自己修改配置文件，重启数据库，否则数据库中数据就为空了。)

八、redis的安全策略

设置数据库密码：

requirepass password

验证密码：

auth password

bind参数（可以让数据库只能在指定IP下访问）：

bind 127.0.0.1

命令重命名：

rename-command flushall cleanall

禁用命令：

rename-command flushall ""

九、redis内存占用情况

测试情况：

100万个键值对（键是0到999999值是字符串“hello world”）在32位操作系统的笔记本上用了100MB。

使用64位的操作系统的话，相对来说占用的内存会多一点，这是因为64位的系统里指针占用了8个字节，但是64位系统也能支持更大的内存，所以运行大型的redis服务还是建议使用64位服务器。

redis优化

一、精简键名和键值、内部编码优化

精简键名和键值

键名：尽量精简，但是也不能单纯为了节约空间而使用不易理解的键名。

键值：对于键值的数量固定的话可以使用0和1这样的数字来表示，（例如：male/female、right/wrong）

当业务场景不需要数据持久化时，关闭所有的持久化方式可以获得最佳的性能

内部编码优化（大家可以自己了解）

redis为每种数据类型都提供了两种内部编码方式，在不同的情况下redis会自动调整合适的编码方式。
在这里插入图片描述
SLOWLOG [get/reset/len]

slowlog-log-slower-than  //它决定要对执行时间大于多少微秒(microsecond，1秒 = 1,000,000 微秒)的命令进行记录  
slowlog-max-len   //它决定 slowlog 最多能保存多少条日志

当发现redis性能下降的时候可以查看下是哪些命令导致的。

二、修改linux内核内存分配策略

redis在运行过程中可能会出现下面问题

错误日志：

WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add ‘vm.overcommit_memory = 1’ to /etc/sysctl.conf and then reboot or run the command ‘sysctl vm.overcommit_memory=1’

redis在备份数据的时候，会fork出一个子进程，理论上child进程所占用的内存和parent是一样的，比如parent占用的内存为8G，这个时候也要同样分配8G的内存给child,如果内存无法负担，往往会造成redis服务器的down机或者IO负载过高，效率下降。所以内存分配策略应该设置为 1（表示内核允许分配所有的物理内存，而不管当前的内存状态如何）。

内存分配策略有三种，可选值：0、1、2

0，表示内核将检查是否有足够的可用内存供应用进程使用；如果有足够的可用内存，内存申请允许；否则，内存申请失败，并把错误返回给应用进程。

1，不管需要多少内存，都允许申请。

2，只允许分配物理内存和交换内存的大小。(交换内存一般是物理内存的一半)

向/etc/sysctl.conf添加：

vm.overcommit_memory = 1    //然后重启服务器

或者执行：

sysctl vm.overcommit_memory=1   //立即生效

三、关闭Transparent Huge Pages(THP)

THP会造成内存锁影响redis性能，建议关闭

Transparent HugePages ：用来提高内存管理的性能  
Transparent Huge Pages在32位的RHEL 6中是不支持的

使用root用户执行下面命令

echo never > /sys/kernel/mm/transparent_hugepage/enabled

把这条命令添加到这个文件中/etc/rc.local。

四、修改linux中TCP 监听的最大容纳数量

在高并发环境下你需要一个高backlog值来避免慢客户端连接问题。注意Linux内核默默地将这个值减小到/proc/sys/net/core/somaxconn的值，所以需要确认增大somaxconn和tcp_max_syn_backlog两个值来达到想要的效果。

echo 511 > /proc/sys/net/core/somaxconn

注意：这个参数并不是限制redis的最大链接数。如果想限制redis的最大连接数需要修改maxclients，默认最大连接数为10000。

五、限制redis的内存大小

通过redis的info命令查看内存使用情况

如果不设置maxmemory或者设置为0，64位系统不限制内存，32位系统最多使用3GB内存。

修改配置文件中的maxmemory和maxmemory-policy

maxmemory：最大内存  
maxmemory-policy：内存不足时,数据清除策略

如果可以确定数据总量不大，并且内存足够的情况下不需要限制redis使用的内存大小。如果数据量不可预估，并且内存也有限的话，尽量限制下redis使用的内存大小，这样可以避免redis使用swap分区或者出现OOM错误。

注意：如果不限制内存，当物理内存使用完之后，会使用swap分区，这样性能较低，如果限制了内存，当到达指定内存之后就不能添加数据了，否则会报OOM错误。可以设置maxmemory-policy，内存不足时删除数据。

六、使用管道及批量操作命令

Redis是个单线程模型，客户端过来的命令是按照顺序执行的，所以想要一次添加多条数据的时候可以使用管道，或者使用一次可以添加多条数据的命令。

七、拓展

通过redis的info命令查看内存使用情况。
used_memory是Redis使用的内存总量，它包含了实际缓存占用的内存和Redis自身运行所占用的内存（以字节（byte）为单位，其中used_memory_human上的数据和used_memory是一样的值，它以M为单位显示，仅为了方便阅读）。

如果一个Redis实例的内存使用率超过可用最大内存(used_memory >可用最大内存)，那么操作系统开始进行内存与swap空间交换，把内存中旧的或不再使用的内容写入硬盘上（硬盘上的这块空间叫Swap分区），以便腾出新的物理内存给新页或活动页(page)使用。

在硬盘上进行读写操作要比在内存上进行读写操作，时间上慢了近5个数量级，内存是0.1us(微秒)、而硬盘是10ms(毫秒)。如果Redis进程上发生内存交换，那么Redis和依赖Redis上数据的应用会受到严重的性能影响。通过查看used_memory指标可知道Redis正在使用的内存情况，如果used_memory>可用最大内存，那就说明Redis实例正在进行内存交换或者已经内存交换完毕。管理员根据这个情况，执行相对应的应急措施。

排查方案：

若是在使用Redis期间没有开启rdb快照或aof持久化策略，那么缓存数据在Redis崩溃时就有丢失的危险。因为当Redis内存使用率超过可用内存的95%时，部分数据开始在内存与swap空间来回交换，这时就可能有丢失数据的危险。

当开启并触发快照功能时，Redis会fork一个子进程把当前内存中的数据完全复制一份写入到硬盘上。因此若是当前使用内存超过可用内存的45%时触发快照功能，那么此时进行的内存交换会变的非常危险(可能会丢失数据)。倘若在这个时候实例上有大量频繁的更新操作，问题会变得更加严重。

通过减少Redis的内存占用率，来避免这样的问题，或者使用下面的技巧来避免内存交换发生：

1、尽可能的使用Hash数据结构。因为Redis在储存小于100个字段的Hash结构上，其存储效率是非常高的。所以在不需要集合(set)操作或list的push/pop操作的时候，尽可能的使用Hash结构。比如，在一个web应用程序中，需要存储一个对象表示用户信息，使用单个key表示一个用户，其每个属性存储在Hash的字段里，这样要比给每个属性单独设置一个key-value要高效的多。通常情况下倘若有数据使用string结构，用多个key存储时，那么应该转换成单key多字段的Hash结构。如上述例子中介绍的Hash结构应包含，单个对象的属性或者单个用户各种各样的资料。Hash结构的操作命令是HSET(key, fields, value)和HGET(key, field)，使用它可以存储或从Hash中取出指定的字段。

2、设置key的过期时间。一个减少内存使用率的简单方法就是，每当存储对象时确保设置key的过期时间。倘若key在明确的时间周期内使用或者旧key不大可能被使用时，就可以用Redis过期时间命令(expire,expireat, pexpire, pexpireat)去设置过期时间，这样Redis会在key过期时自动删除key。假如你知道每秒钟有多少个新key-value被创建，那可以调整key的存活时间，并指定阀值去限制Redis使用的最大内存。

3、回收key。在Redis配置文件中(一般叫Redis.conf)，通过设置“maxmemory”属性的值可以限制Redis最大使用的内存，修改后重启实例生效。也可以使用客户端命令config set maxmemory 去修改值，这个命令是立即生效的，但会在重启后会失效，需要使用config rewrite命令去刷新配置文件。若是启用了Redis快照功能，应该设置“maxmemory”值为系统可使用内存的45%，因为快照时需要一倍的内存来复制整个数据集，也就是说如果当前已使用45%，在快照期间会变成95%(45%+45%+5%)，其中5%是预留给其他的开销。如果没开启快照功能，maxmemory最高能设置为系统可用内存的95%。

当内存使用达到设置的最大阀值时，需要选择一种key的回收策略，可在Redis.conf配置文件中修改“maxmemory-policy”属性值。若是Redis数据集中的key都设置了过期时间，那么“volatile-ttl”策略是比较好的选择。但如果key在达到最大内存限制时没能够迅速过期，或者根本没有设置过期时间。那么设置为“allkeys-lru”值比较合适，它允许Redis从整个数据集中挑选最近最少使用的key进行删除(LRU淘汰算法)。Redis还提供了一些其他淘汰策略，如下：

volatile-lru： 使用LRU算法从已设置过期时间的数据集合中淘汰数据。  
volatile-ttl：从已设置过期时间的数据集合中挑选即将过期的数据淘汰。  
volatile-random：从已设置过期时间的数据集合中随机挑选数据淘汰。  
allkeys-lru：使用LRU算法从所有数据集合中淘汰数据。  
allkeys-random：从数据集合中任意选择数据淘汰  
no-enviction：禁止淘汰数据。

通过设置maxmemory为系统可用内存的45%或95%(取决于持久化策略)和设置“maxmemory-policy”为“volatile-ttl”或“allkeys-lru”(取决于过期设置)，可以比较准确的限制Redis最大内存使用率，在绝大多数场景下使用这2种方式可确保Redis不会进行内存交换。倘若你担心由于限制了内存使用率导致丢失数据的话，可以设置noneviction值禁止淘汰数据。

redis应用场景

一、发布与订阅

二、限制网站访客访问频率

进行各种数据统计的用途是非常广泛的，比如想知道什么时候封锁一个IP地址。INCRBY命令让这些变得很容易，通过原子递增保持计数；GETSET用来重置计数器；过期属性expire用来确认一个关键字什么时候应该删除。

//指定Redis数据库连接的IP和端口  
String host = "192.168.33.130";  
int port = 6379;  
Jedis jedis = new Jedis(host, port);  
  
/** 
 * 限制网站访客访问频率 一分钟之内最多访问10次 
 *  
 * @throws Exception 
 */  
@Test  
public void test3() throws Exception {  
    // 模拟用户的频繁请求  
    for (int i = 0; i < 20; i++) {  
        boolean result = testLogin("192.168.1.100");  
        if (result) {  
            System.out.println("正常访问");  
        } else {  
            System.err.println("访问受限");  
        }  
    }  
  
}  
  
/** 
 * 判断用户是否可以访问网站 
 *  
 * @param ip 
 * @return 
 */  
public boolean testLogin(String ip) {  
    String value = jedis.get(ip);  
    if (value == null) {  
        //初始化时设置IP访问次数为1  
        jedis.set(ip, "1");  
        //设置IP的生存时间为60秒，60秒内IP的访问次数由程序控制  
        jedis.expire(ip, 60);  
    } else {  
        int parseInt = Integer.parseInt(value);  
        //如果60秒内IP的访问次数超过10，返回false,实现了超过10次禁止分的功能  
        if (parseInt > 10) {  
            return false;  
        } else {  
            //如果没有10次，可以自增  
            jedis.incr(ip);  
        }  
    }  
    return true;  
}

三、监控变量在事务执行时是否被修改

四、//TODO

guo_xiaozhong

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
《2019/04/25》redis的高级特性及应用场景

redis的高级特性及应用场景参考自 https://www.cnblogs.com/tianciliangen/p/7942560.html 。https://www.cnblogs.com/PatrickLiu/p/8341951.html 。文章目录redis的高级特性及应用场景@[toc]redis一些通用命令redis高级特性一、redis中键的生存时间（expire）二、r...
复制链接

扫一扫