Redis的基本应用

NOSQL数据库

优点：

1. 成本：nosql数据库简单易部署，基本都是开源软件，不需要像使用oracle那样花费大量成本购买使用，相比关系型数据库价格便宜。

2. 查询速度：nosql数据库将数据存储于缓存之中，关系型数据库将数据存储在硬盘中，自然查询速度远不及nosql数据库。

3. 存储数据的格式：nosql的存储格式是key,value形式、文档形式、图片形式等等，所以可以存储 基础类型以及对象或者是集合等各种格式，而数据库则只支持基础类型。

4. 扩展性：关系型数据库有类似join这样的多表查询机制的限制导致扩展很艰难。

缺点：

1. 维护的工具和资料有限，因为nosql是属于新的技术，不能和关系型数据库10几年的技术同日而 语。

2. 不提供对sql的支持，如果不支持sql这样的工业标准（不遵循SQL标准），将产生一定用户的学习和使用成本。

3. 不提供关系型数据库对事务的处理。

什么是Redis?（端口号：6379）

Redis (REmote DIctionary Server) 是用 C 语言开发的一个开源的高性能键值对（key-value）数据库

特征：

1. 数据间没有必然的关联关系

2. 内部采用单线程机制进行工作

3. 高性能，官方提供测试数据，50个并发执行100000 个请求,读的速度是110000 次/s,写的速度是 81000次/s。

4. 多数据类型支持

字符串类型 string

列表类型 list

散列类型 hash

集合类型 set

有序集合类型 sorted_set

5. 持久化支持。可以进行数据灾难恢复

启动redis

服务器启动：指令：redis-server.exe redis.windows.conf

Redis基本操作

信息添加：(不存在就添加，存在就修改)

set key value

---

信息查询：（存在就得等到对应value值，不存在返回空nil） get key

清除屏幕信息：clear

退出客户端：quit exit 按钮

Redis数据类型（5种常用）

string                 String

hash                 HashMap

list                     LinkedList

set                     HashSet

sorted_set         TreeSet

redis 数据存储格式

redis 自身是一个 Map，其中所有的数据都是采用 key : value 的形式存储

数据类型指的是存储的数据的类型，也就是 value 部分的类型，key 部分永远都是字符串

key的语法:

在一个项目中，key最好使用统一的命名模式

key区分大小写

key不要太长，尽量不要超过1024字节。不仅消耗内存，也会降低查找的效率

key不要太短，太短可读性会降低

String

存储的数据：单个数据，最简单的数据存储类型，也是最常用的数据存储类型

存储数据的格式：一个存储空间保存一个数据

存储内容：通常使用字符串，如果字符串以整数的形式展示，可以作为数字操作使用

添加/修改数据 set key value

获取数据 get key

删除数据 del key

添加/修改多个数据 mset key1 value1 key2 value2 …（m代表Multiple）

获取多个数据 mget key1 key2 …

获取数据字符个数（字符串长度） strlen key

追加信息到原始信息后部（如果原始信息存在就追加，否则新建）

append key value

按照范围获取 GETRANGE key 开始下标 结束下标

替换 SETRANGE key 位置

先get然后在set getset key value

---

设置数值数据增加指定范围的值

incr key

incrby key increment

incrbyfloat key increment

设置数值数据减少指定范围的值

decr key

decrby key increment

设置数据具有指定的生命周期

setex key seconds value

psetex key milliseconds value

设置key的过期时间

EXPIRE key seconds

查看key的剩余时间

ttl key

redis 控制数据的生命周期，通过数据是否失效控制业务行为，适用于所有具有时效性限定控制的操作

redis应用于各种结构型和非结构型高热度数据访问加速

Hash

hash哈希特点

新的存储需求：对一系列存储的数据进行编组，方便管理，典型应用存储对象信息

需要的存储结构：一个存储空间保存多个键值对数据

hash类型：底层使用哈希表结构实现数据存储

hash存储结构优化

如果field数量较少，存储结构优化为类数组结构

如果field数量较多，存储结构使用HashMap结构

添加/修改数据 hset key field value

添加，但是有则不添加，无则添加 hsetnx key field value

获取数据

hget key field

hgetall key

删除数据 hdel key field1 [field2]

添加/修改多个数据 hmset key field1 value1 field2 value2 …

获取多个数据 hmget key field1 field2 …

获取哈希表中字段的数量 hlen key

获取哈希表中是否存在指定的字段 hexists key field

获取哈希表中所有的字段名或字段值

hkeys key

hvals key

设置指定字段的数值数据增加指定范围的值

hincrby key field increment

hincrbyfloat key field increment

• hash 类型数据操作的注意事项

1.hash类型下的value只能存储字符串，不允许存储其他数据类型，不存在嵌套现象。如果数据未获取到，对应的值为（nil）

2.每个 hash 可以存储 2^32^-1个键值对

3.hash类型十分贴近对象的数据存储形式，并且可以灵活添加删除对象属性。但hash设计初衷不是为了存储大量对象而设计的，切记不可滥用，更不可以将hash作为对象列表使用

4.hgetall 操作可以获取全部属性，如果内部field过多，遍历整体数据效率就很会低，有可能成为数据访问瓶颈

List

数据存储需求：存储多个数据，并对数据进入存储空间的顺序进行区分

需要的存储结构：一个存储空间保存多个数据，且通过数据可以体现进入顺序

list类型：保存多个数据，底层使用双向链表存储结构实现

添加/修改数据

lpush key value1 [value2] ……

rpush key value1 [value2] ……

获取数据

lrange key start stop

lindex key index

llen key

获取并移除数据

lpop key

rpop key

通过下标截取指定的长度，这个list已经被改变了，只剩下截取的元素

ltrim key start end

lset将列表中指定下标的值替换为另外一个值，更新操作

lset key 下标 新数据 # 如果不存在列表我们去更新就会报错

将某个具体的value插入到列中的某个元素的前面或者后面！

LINSERT mylist before "world" "other"

LINSERT mylist after "world" "other"

规定时间内获取并移除数据 b代表block阻塞

blpop key1 [key2] timeout

brpop key1 [key2] timeout

eg:lpush list1 a b

lpop list1 ===a

lpop list1 ===b

lpop list1 ===nil 立刻响应为空，但如果是blpop会阻塞，也就是会等，现在没数据不意味着未来没有

blpop list1 30 获取数据，有则返回，没有则等待30秒

Set

新的存储需求：存储大量的数据，在查询方面提供更高的效率

需要的存储结构：能够保存大量的数据，高效的内部存储机制，便于查询

set类型：与hash存储结构完全相同，仅存储键，不存储值（nil），并且值是不允许重复的

添加数据 sadd key member1 [member2]

获取全部数据 smembers key

删除数据 srem key member1 [member2]

获取集合数据总量 scard key

判断集合中是否包含指定数据 sismember key member

随机获取集合中指定数量的数据 srandmember key [count]

随机获取集合中的某个数据并将该数据移出集合

spop key [count]

redis 应用于随机推荐类信息检索，例如热点歌单推荐，热点新闻推荐，热卖旅游线路，应用APP推荐，大V推荐等

求两个集合的交、并、差集

sinter key1 [key2]

sunion key1 [key2]

sdiff key1 [key2]

求两个集合的交、并、差集并存储到指定集合中

sinterstore destination key1 [key2]

sunionstore destination key1 [key2]

sdiffstore destination key1 [key2]

将指定数据从原始集合中移动到目标集合中

smove source destination member

set 类型数据操作的注意事项

1.set 类型不允许数据重复，如果添加的数据在 set 中已经存在，将只保留一份

2.set 虽然与hash的存储结构相同，但是无法启用hash中存储值的空间

Sorted_set

新的存储需求：数据排序有利于数据的有效展示，需要提供一种可以根据自身特征进行排序的方式

需要的存储结构：新的存储模型，可以保存可排序的数据

sorted_set类型：在set的存储结构基础上添加可排序字段

添加数据

zadd key score1 member1 [score2 member2]

获取全部数据

zrange key start(开始索引) stop(结束索引) [WITHSCORES]

#[WITHSCORES]可以除了数据还 显示分值

zrevrange key start stop [WITHSCORES] 反转

删除数据 zrem key member [member ...]

获取集合数据总量 zcard key

Jedis

spring-data-redis

说明： 在 SpringBoot2.x 之后，原来使用的jedis 被替换为了 lettuce

jedis : 采用的直连，多个线程操作的话，是不安全的，如果想要避免不安全的，使用 jedis pool 连接池

lettuce :采用netty，实例可以再多个线程中进行共享，不存在线程不安全的情况！可以减少线程数据了

1.加入Redis相关依赖

<dependency> 
<groupId>org.springframework.boot</groupId> 
<artifactId>spring-boot-starter-data-redis</artifactId> 
</dependency>

2.application.properties中加入redis相关配置

# Redis数据库索引（默认为0）

spring.redis.database=0

# Redis服务器地址

spring.redis.host=localhost

# Redis服务器连接端口

spring.redis.port=6379

# Redis服务器连接密码（默认为空）

spring.redis.password=

# 连接池最大连接数（使用负值表示没有限制）

spring.redis.pool.max-active=200

# 连接池最大阻塞等待时间（使用负值表示没有限制）

spring.redis.pool.max-wait=-1

# 连接池中的最大空闲连接

spring.redis.pool.max-idle=10

# 连接池中的最小空闲连接

spring.redis.pool.min-idle=0

# 连接超时时间（毫秒）

spring.redis.timeout=1000

spring data redis中封装了两个模板类,帮助我们实现redis的crud

RedisTemplate key value泛型都是object

StringRedisTemplate key value泛型都是string

注意:

1.两者数据各自存，各自取，数据不互通。

RedisTemplate不能取StringRedisTemplate存入的数据

StringRedisTemplate不能取RedisTemplate存入的数据

2.序列化策略不同:

RedisTemplate采用JDK的序列化策略（JdkSerializationRedisSerializer）保存的key 和value 都是采用此策略序列化保存的

存储时，先将数据序列化为字节数组，再存入Redis数据库。查看Redis会发现，是字节数组的形式类似乱 码读取时，会将数据当做字节数组转化为我们需要的数据,以用来存储对象，但是要实现 Serializable接 口

StringRedisTemplate采用String的序列化策略（StringRedisSerializer）保存的key和value都 是采用此策略序列化保存的当存入对象时，会报错:can not cast into String 存储和读取，都为可读的数据

3.两者的关系是：StringRedisTemplate继承RedisTemplate

4.使用场景:

当你的redis数据库里面本来存的是字符串数据或者你要存取的数据就是字符串类型数据的时候，那么你就使 用StringRedisTemplate即可。

但是如果你的数据是复杂的对象类型，而取出的时候又不想做任何的数据转换，直接从Redis里面取 出一个对 象，那么使用RedisTemplate是更好的选择。

五大数据类型

* redisTemplate.opsForValue();//操作字符串

* redisTemplate.opsForList();//操作List

* redisTemplate.opsForSet();//操作Set

* redisTemplate.opsForZSet();//操作ZSet

* redisTemplate.opsForHash();//操作Hash

序列化策略

改变序列化策略

默认序列化方式存储到redis的数据人工不可读

不同策略序列化的过程有性能高低的

spring-data-redis提供如下几种序列化策略：

GenericToStringSerializer: 可以将任何对象泛化为字符串并序列化

Jackson2JsonRedisSerializer: 跟JacksonJsonRedisSerializer实际上是一样的

JacksonJsonRedisSerializer: 序列化object对象为json字符串

JdkSerializationRedisSerializer: 序列化java对象

StringRedisSerializer: 简单的字符串序列化

10.redis持久化

Redis 是内存数据库，如果不将内存中的数据库状态保存到磁盘，那么一旦服务器进程退出，服务器中的数据库状态也会消失。所以 Redis 提供了持久化功能！

持久化过程保存什么

1.将当前数据状态进行保存，快照形式，存储数据结果，存储格式简单，关注点在数据（RDB）

2.将数据的操作过程进行保存,日志形式，存储操作过程，关注点在数据的操作过程（AOF）

10.1 RDB方式

概念:

在指定的时间间隔内将内存中的数据集快照写入磁盘， 也就是行话讲的Snapshot快照，它恢复时是将快照文件直接读到内存里

命令 :save

作用 :手动执行一次保存操作

save指令相关配置

dbfilename dump.rdb

说明：设置本地数据库文件名，默认值为 dump.rdb

经验：通常设置为 dump-端口号.rdb

命令 ：bgsave

作用 ：手动启动后台保存操作，但不是立即执行

注意： bgsave命令是针对save阻塞问题做的优化。Redis内部所有涉及到RDB操作都采用bgsave的方式，save命令可以放弃使用

Fork

Fork的作用是复制一个与当前进程一样的进程。新进程的所有数据（变量、环境变量、程序计数器等）数值都和原进程一致，但是是一个全新的进程，并作为原进程的子进程

RDB自动

配置 ：save second changes

作用 : 满足限定时间范围内key的变化数量达到指定数量即进行持久化

参数 :

second：监控时间范围

changes：监控key的变化量

位置 : 在conf文件中进行配置

注意：

save配置要根据实际业务情况进行设置，频度过高或过低都会出现性能问题，结果可能是灾难性的

save配置中对于second与changes设置通常具有互补对应关系，尽量不要设置成包含性关系

save配置启动后执行的是bgsave操作

RDB优点

RDB是一个紧凑压缩的二进制文件，存储效率较高

RDB内部存储的是redis在某个时间点的数据快照，非常适合用于数据备份，全量复制等场景

RDB恢复数据的速度要比AOF快很多

RDB节省磁盘空间

RDB缺点

Fork的时候，内存中的数据被克隆了一份，大致2倍的膨胀性需要考虑

虽然Redis在fork时使用了写时拷贝技术,但是如果数据庞大时还是比较消耗性能

RDB方式无论是执行指令还是利用配置，无法做到实时持久化，具有较大的可能性丢失数据

Redis的众多版本中未进行RDB文件格式的版本统一，有可能出现各版本服务之间数据格式无法兼容现象

10.2 AOF方式

概念:

AOF(append only file)持久化：以独立日志的方式记录每次写命令，重启时再重新执行AOF文件中命令达到恢复数据的目的；与RDB相比可以简单描述为改记录数据为记录数据产生的过程AOF的主要作用是解决了数据持久化的实时性，目前已经是Redis持久化的主流方式

AOF执行过程

客户端的请求写命令会被append追加到AOF缓冲区内；

AOF缓冲区根据AOF持久化策略[always,everysec,no]将操作sync同步到磁盘的AOF文件中；

AOF文件大小超过重写策略或手动重写时，会对AOF文件rewrite重写，压缩AOF文件容量；

Redis服务重启时，会重新load加载AOF文件中的写操作达到数据恢复的目的；

AOF写数据三种策略(appendfsync)

always(每次）

每次写入操作均同步到AOF文件中，数据零误差，性能较低

everysec（每秒）

每秒将缓冲区中的指令同步到AOF文件中，数据准确性较高，性能较高

在系统突然宕机的情况下丢失1秒内的数据

no（系统控制）

由操作系统控制每次同步到AOF文件的周期，整体过程不可控

AOF相关配置

配置 ：appendonly yes|no

作用 ：是否开启AOF持久化功能，默认为不开启状态

配置 ：appendfsync always|everysec|no

作用 ：AOF写数据策略

配置：appendfilename filename

作用：AOF持久化文件名，默认文件名未appendonly.aof，建议配置为appendonly-端口号.aof

配置：dir

作用 ：AOF持久化文件保存路径，与RDB持久化文件保持一致即可

RDB和AOF区别？

11.Redis 删除策略

删除策略比对

1. 定时删除 节约内存，无占用 不分时段占用CPU资源，频度高拿时间换空间

2. 惰性删除 内存占用严重延时执行，CPU利用率高拿空间换时间

3. 定期删除内存定期随机清理每秒花费固定的CPU资源维护内存随机抽查，重点抽查

逐出算法

当新数据进入redis时，如果内存不足怎么办？

Redis使用内存存储数据，在执行每一个命令前，会调用freeMemoryIfNeeded()检测内存是否充足。如果内存不满足新加入数据的最低存储要求，redis要临时删除一些数据为当前指令清理存储空间。清理数据的策略称为逐出算法。

注意：逐出数据的过程不是100%能够清理出足够的可使用的内存空间，如果不成功则反复执行。

当对所有数据尝试完毕后，如果不能达到内存清理的要求，将出现错误信息。

抛出异常：(error) OOM command not allowed when used memory >'maxmemory'

影响数据逐出的相关配置

maxmemory最大可使用内存

占用物理内存的比例，默认值为0，表示不限制,生产环境中根据需求设定，通常设置在50%以上。

maxmemory-samples每次选取待删除数据的个数

选取数据时并不会全库扫描，导致严重的性能消耗，降低读写性能。因此采用随机获取数据的方式作为待检测删除数据

maxmemory-policy删除策略

检测易失数据（可能会过期的数据集server.db[i].expires ）

① volatile-lru：挑选最近最少使用的数据淘汰

② volatile-lfu：挑选最近使用次数最少的数据淘汰

③ volatile-ttl：挑选将要过期的数据淘汰

④ volatile-random：任意选择数据淘汰

检测全库数据（所有数据集server.db[i].dict ）

⑤ allkeys-lru：挑选最近最少使用的数据淘汰

⑥ allkeys-lfu：挑选最近使用次数最少的数据淘汰

⑦ allkeys-random：任意选择数据淘汰

放弃数据驱逐

⑧ no-enviction（驱逐）：禁止驱逐数据（redis4.0中默认策略），会引发错误OOM（Out Of Memory）达到最大内存后的，对被挑选出来的数据进行删除的策略

缓存雪崩

缓存雪崩是指在同一时段大量的缓存key同时失效或者Redis服务宕机，导致大量请求到达数据库，带来巨大压力。

解决方案：

给不同的Key的TTL添加随机值

利用Redis集群提高服务的可用性

给缓存业务添加降级限流策略

给业务添加多级缓存

缓存击穿

缓存击穿问题也叫热点Key问题，就是一个被高并发访问并且缓存重建业务较复杂的key突然失效了，无数的请求访问会在瞬间给数据库带来巨大的冲击。

常见的解决方案有两种：

互斥锁

逻辑过期

缓存穿透

缓存穿透 ：缓存穿透是指客户端请求的数据在缓存中和数据库中都不存在，这样缓存永远不会生效，这些请求都会打到数据库。

常见的解决方案有两种：

缓存空对象

优点：实现简单，维护方便

缺点：

额外的内存消耗

可能造成短期的不一致

布隆过滤

优点：内存占用较少，没有多余key

缺点：

实现复杂

存在误判可能