Redis

Redis非关系型数据库

redis操作Key

1.keys *

查看当前库所有key

2.exists key

判断某个key是否存在

3.type key

查看你的key是什么类型

4.del key [keys]

删除指定的key数据

5.unlink key

根据vale选择非阻塞删除

仅将keys从keyspace元数据中删除,真正的删除会在后续异步操作

6.expire key 10(second)

10秒钟:为给定的key设置过期时间

7.ttl key

查看还有多少秒过期,-1表示永不过期,-2表示已过期

select index

命令切换数据库,默认是0号库

redis共有16个数据库下标默认从0到15

dbsize

查看当前数据库的key的数量

flushdb

清空当前库

flushall

通杀全部库

redis字符串(String)

String是redis最基本的类型,一个key对应一个value

String类型是二进制安全的.二进制安全就是输入任何字节都能正确处理,即包含零值字节,意味着redis的String可以包含任何数据,比如jpg图片或者序列化的对象

String类型是redis最基本的数据类型,一个redis中字符串value最多可以是512M

常用命令

set 添加键值对

当数据库中key不存在时,可以将key-value添加数据库

当数据库中key存在时,用set会覆盖当前key-value键值对

get 查询对应键值

append 将给定的追加到末尾

strlen 获取值的长度

setnx 只有在key不存在时 设置key的值

incr

​ 将key中储存的数字值增加

​ 只能对数字值操作,如果为空,新增值为1

decr

​ 将key中存储的数字值减1

incrby/decrby <步长>

将key中储存的数字值增减.自定义步长

原子性操作:是指不会被线程调度机制打断的操作

这种操作一旦开始,就一直运行到结束,中间不会有任何context switch(切换到另一个线程)

1.在单线程中,能够在单条指令中完成的操作都可以认为是"原子操作",因为中断只能发生在指令之间

2.在多线程中,不能被其他进程(线程)打断的操作就叫原子操作.

redis单命令的原子性主要得益于redis的单线程

mset

设置一个或多个key value 键值对

mget

同时获取一个或多个value

msetnx

设置一个或多个key value 键值对,当且仅当所有给定key都不存在

原子性,有一个失败都失败

getrange <起始位置><结束位置>

获取值的范围,类似java中的subString,前包含,后包含

setrange <起始位置>

用 覆写所储存的字符串值,从<起始位置>开始(索引从0开始)

setex <过期时间>

设置键值的同时,设置过期时间,单位秒

getset

以新换旧,设置新值同时获得旧值

redis列表(List)

单键多值

redis列表是简单的字符串列表,按照插入顺序排序,你可以添加一个元素到列表的头部或者尾部

常用命令

lpush/rpush …

从头/尾插入一个或多个值.

lpop/rpop 从左边/右边吐出一个值

值在键在,值光键亡

rpoplpush 从列表右边吐出一个值,插入到列表左边

lrange

按照索引下标获取元素(从左到右)

lrange mylist 0 -1 0左边第一个 -1右边第一个 (0 -1表示所有)

lindex 按照索引下标获得元素(从左到右)

llen 获取列表长度

linsert before 在 的后面插入插入值

lrem从左边删除n个value(从左到右)

lset将列表key下标为index 的值替换成value

redis集合(set)

redis set对外提供的功能与list类似是一给列表的功能,特殊之处在于set是可以自动排重的,当你需要存储一个列表数据,又不希望出现重复数据时,set是一个很好的选择,并且set提供了判断某个成员是否在一个set集合内的重要接口,这个也是list所不能提供的.

redis的set是string类型的**无序集合,他底层其实是一个value为null的hash表,**所以添加,删除,查找的复杂度都是O(1).

常用命令

sadd…

将一个或多个member元素加入到集合key中,已经存在的member将被忽略

smembers 取出该集合的所有值

sismember 判断集合是否为含有该值,有为1,没有为0

scard返回该集合的元素个数

srem…删除集合中的某个元素

spop 随机从该集合中吐出一个值

srandmember 随机从该集合中取出n个值,不会从集合中删除.

smove value把集合中一个值从一个集合移动到另一个集合

sinter 返回两个集合的公共部分(交集)

sunion 返回两个集合的所有元素(并集)

sdiff 返回两个集合的差集元素(key1中的,不包含key2中的)

redis hash

redis hash是一个键值对集合

redis hash是一个string类型的field和value的映射表,hash特别适合用于存储对象.

类似Java里面的map<String,Object>

用户ID为查找的key,存储的value用户对象包含姓名,年龄,生日等信息,如果用普通的key/value结构来存储

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5iyd4mGi-1649765951837)(C:\Users\inn\AppData\Roaming\Typora\typora-user-images\image-20210812094201613.png)]

常见命令

hset 给集合中的 键赋值

hget 从集合取出 value

hmset 批量设置hash的值

hexists查看哈希表key中,给定域field是否存在

hkeys列出该hash集合的所有field

hvals列出该hash集合的所有value

hincrby 为哈希表key中的域field的值加上增量 1 -1

hsetnx 将哈希表key中的域field 的值,当且仅当域field不存在

redis有序集合Zset

redis有序集合zset与普通集合set非常相似,是一个没有重复元素的字符串集合.

不同之处是有序集合的每个成员都关联了一个评分(score),这个评分(score)被用来按照从最低分到最高分的方式排序集合中的成员.集合的成员是唯一的,但是评分可以是重复了

因为元素是有序的,所以你也可以很快的根据评分(score)或者次序(position)来获取一个范围的元素

访问有序集合的中间元素也是非常快的,因此你能够使用有序集合作为一个没有重复成员的智能列表

常用命令

zadd …

将一个或多个member元素及其score值加入到有序集合key当中

zrange [withscores]

返回有序集key中,下标在 之间的元素.

zrangebyscore key minmax [withscores] [limit offset count]

返回有序集key中,所有score值介于min和max之间(包括等于min或max)的成员.有序集成员按score值递增(从小到大)次序排列

zrevrangebyscore key maxmin [withscores] [limit offset count]从大到小排列

zincrby 为元素的score加上value

zrem删除该集合下,指定值的元素

zcount 统计该集合,分数区间内的元素个数

zrank返回该值在集合中的排名,从开始

持久化操作

RDB(redis database)

是指定的时间间隔内将内存中的数据集快照写入磁盘,也就是行话讲的Snapshot快照,它恢复时是将快照文件直接读到内存里

redis会单独创建(fork)一个子进程来进行持久化,会先将数据写入到一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件.整个过程中,主进程是不进行任何IO操作的,这就确保了极高的性能,如果需要进行大规模数据的恢复,且对于数据恢复的王政协不是非常敏感,那RDM方式要比AOF方式更加的高效.RDB的缺点是最后一次持久化 后的数据可能丢失

Fork

Fork的作用是复制一个与当前进程一样的进程.新进程的所有数据(变量、环境变量、程序计数器等)数值都和原进程一致，但是是一个全新的进程，并作为原进程的子进程

在linux程序中，fork()会产生一个和父进程完全相同的子进程,但子进程在此后多会exec系统调用,出于效率考虑,Linux中引入了"写时复制技术"

一般情况父进程和子进程会共用同一段物理内存,只有进程空间的各段的内容要发生变化时,才会将父进程的内容复制一份给子进程.

redis持久化之AOF

AOF(Append Only File)

**以日志的形式来记录每个写操作(增量保存),将Redis执行过的所有写指令记录下来(读操作不记录),只许追加文件但不可以改写文件,**redis启动之初会读取该文件重新构建数据,换言之,redis重启的化就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作

AOF和RDB同时开启,redis默认读取AOF的数据

异常恢复

在redis.conf文件中修改默认appendonly no改为yes

如遇到AOF文件损坏,通过

/usr/local/bin/redis-check-aof–fix appendonly.aof进行恢复

备份被写坏的aof文件

恢复:重启redis,然后重新加载

Redis主从复制

主机数据更新或根据配置和策略,自动同步到备机的master/slaver机制,master以写为主,slave以读为主

好处:

读写分离,减少服务器压力

容灾的快速恢复,当一条从机挂掉后,可从另一台从机读操作,只有一台主机,可以设置集群,一主多从连接另一个一主多从

特点:

当从服务器挂掉(shutdown),重启从服务器,默认会变成主服务器master,需要重新slaveof设置主仆关系,主服务器之前的操作,会继续复制到从服务器上,依然可以进行读操作

当主服务器挂掉后,从服务器不会篡位,重启主服务器,小弟依然会认大哥

主从复制原理

1、当从服务器连接上主服务器之后，从服务器向主服务器发送进行数据同步消息

2、主服务器接到服务器发送过来的同步信息，把主服务器数据进行持久化，存储到rdb文件，把rdb文件发送到从服务器，从服务器拿到rdb文件进行读取

3、每次主服务器进行写操作之后，和从服务器进行数据同步。

薪火相传

管理员–>小组长–>组员

管理员只有几个小组长

小组长只有只给组员

反客为主

当主服务器挂掉了，从服务器设置slaveof no one，即可篡位

哨兵模式

存在的问题

由于所有的写操作都是先在Master上操作，然后同步更新到slave上，所以从Master同步到slave机器有一定的延迟，当系统很繁忙的时候，延迟问题会更加严重，slave机器数量的增加也会使这个问题更加严重

新主登基

从下线的主服务的所有从服务里面挑选一个从服务，将其转成主服务

选择条件依次为：

1、选择优先级靠前的

2、选择偏移量最大的

3、选择runid最小的

优先级在redis.conf中默认：slave-priority 100，值越小优先级越高

偏移量是指获得原主机数据最全的

每个redis实例启动后会随机生成一个40位的runid

群仆俯首

挑选出新的主服务后sentinel向原主服务的从服务发送slaveof新主服务的命令，复制新master

旧主俯首

当已下线的服务重新上线时，sentinel会向其发送slaveof命令，让其成为新主的从

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KSfrQDDv-1649765951838)(C:\Users\inn\AppData\Roaming\Typora\typora-user-images\image-20210813130232085.png)]

redis-sentinel /myredis/sentinel.conf启动哨兵

ps -ef|grep redis

Redis事务

​ 是一个单独的隔离操作;事务中的所有命令都会序列化,按顺序执行.事务执行的过程中,不会被其他客户端送来的命令请求所打断

redis事务的主要作用就是串联多个命令防止别的命令插队

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FKEfeUWX-1649765951838)(C:\Users\inn\AppData\Roaming\Typora\typora-user-images\image-20210814150750340.png)]

multi开启事务,对单个操作进行组队

exec执行事务

discard取消事务

注意

如果在组队中出现错误操作,则其余操作都不会执行

如果在执行中出现错误操作,则不会执行这一个或多个错误操作

悲观锁

每次拿数据的时候都认为别人会修改,所以每次在拿数据的时候都会上锁,这样别人想拿这个数据就会block直到它拿到锁**.传统的关系型数据库里边就会用到很多这种锁机制,比如行锁,表锁等,读写锁,写锁等**,都是在做操作之前先上锁

乐观锁

每次拿数据的时候都认为别人不会修改,所以不会上锁,但是在更新的时候会判断一下在此期间别人有没有去更新这个数据,可以使用版本号等机制.

乐观锁适用于多读的应用类型,这样可以提高吞吐量,redis就是利用这种check-and-set机制实现事务的

watch key [key…]

在执行multi之前,先执行watch key1 [key2] 可以监视一个(或多个)key,如果事务执行之前这个(或这些)被其他命令所改动,那么事务将被打断

unwatch

取消watch命令对所有key的监视

如果在执行watch命令之后,exec命令或discard命令先被执行了的话,那么就不需要再执行unwatch了

redis事务三特性

单独的隔离操作

事务中的所有命令都会序列化,按顺序地执行,事务在执行的过程中,不会被其他客户端发送来的命令请求所打断.

没有隔离级别的概念

队列中的命令没有提交之前都不会实际被执行,因为事务提交前任何指令都不会被实际执行

不保证原子性

事务中如果有一条命令执行失败,其后的命令仍然会被执行,没有回滚

Redis集群

无中心化集群配置

任何服务器都可以做集群的入口，服务器之间可以互相连通

什么是集群

redis集群实现类对redis的水平扩容，即启动了N个redis节点，将整个数据库分布存储在这N个节点中，每个节点存储总数据的1/N。

redis集群通过分区来提供一定程度的可用性：即使集群中有一部分节点失效或者无法进行通讯，集群也可以继续处理命令请求

未完待续

redis并发问题

缓存穿透

是指缓存和数据库中都没有的数据，而用户不断发起请求，如发起为id为“-1”的数据或id为特别大不存在的数据。这时的用户很可能是攻击者，攻击会导致数据库压力过大。

缓存击穿

key可能会在某些时间点被超高并发地访问，是一种非常“热点”的数据，这时候，需要考虑一个问题：缓存被击穿的问题

解决方案：

1）预先设置热门数据：

在redis高峰访问之前，把一些热门数据提前存入到redis里面，加大这些热门数据key的时长

2）实时调整：

现场监控哪些数据热门，实时调整key的过期时长

3）使用锁机制：

1.就是在缓存失效的时候（判断拿出来的值为空），不是立即去load db

2.先使用缓存工具的某些带成功操作返回值的操作（比如redis的SETNX）去set一个mutex key

3.当操作返回成功时，再去load db的操作，并回设缓存，最后删除mutex key；

4.当操作返回失败，证明有现成在load db，当前线程睡眠一段事件再重试整个get缓存的方法

缓存雪崩

数据库压力变大服务器崩溃

在极短时间段，查询大量的key集中过期的情况，就是雪崩

1）构建多级缓存架构

2）使用锁或队列

用加锁或者队列的方式来保证不会有大量的线程对数据库一次性进行读写，从而避免失效时大量的并发请求落到底层存储系统上。不适用高并发情况

3）设置过期标志更新缓存：

记录缓存数据是否过期（设置提前量），如果过期会触发通知另外的线程在后台去更新实际key的缓存。

4）将缓存失效时间分散开：

比如我们可以在原有的失效时间基础上增加一个随机值，比如1-5分钟随机，这样每一个缓存的过期时间的重复率就会降低，就很难引发集体失效的事件。

Jedis连接出错

1、防火墙未关（阻止端口）

释放6379端口

让6379端口行走

​ firewall-cmd --zone=public --add-port=端口号/tcp --permanent

netstat -ntlp 查看端口

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-B4FeSIvj-1649765951839)(C:\Users\inn\AppData\Roaming\Typora\typora-user-images\image-20210825171126863.png)]

load db的操作，并回设缓存，最后删除mutex key；

4.当操作返回失败，证明有现成在load db，当前线程睡眠一段事件再重试整个get缓存的方法

缓存雪崩

数据库压力变大服务器崩溃

在极短时间段，查询大量的key集中过期的情况，就是雪崩

1）构建多级缓存架构

2）使用锁或队列

用加锁或者队列的方式来保证不会有大量的线程对数据库一次性进行读写，从而避免失效时大量的并发请求落到底层存储系统上。不适用高并发情况

3）设置过期标志更新缓存：

记录缓存数据是否过期（设置提前量），如果过期会触发通知另外的线程在后台去更新实际key的缓存。

4）将缓存失效时间分散开：

比如我们可以在原有的失效时间基础上增加一个随机值，比如1-5分钟随机，这样每一个缓存的过期时间的重复率就会降低，就很难引发集体失效的事件。

Jedis连接出错

1、防火墙未关（阻止端口）

释放6379端口

让6379端口行走

​ firewall-cmd --zone=public --add-port=端口号/tcp --permanent

netstat -ntlp 查看端口

[外链图片转存中…(img-B4FeSIvj-1649765951839)]

重启防火墙即可