Redis

最新推荐文章于 2024-04-04 11:33:29 发布

祈遇&

最新推荐文章于 2024-04-04 11:33:29 发布

阅读量174

点赞数 1

分类专栏： java

本文链接：https://blog.csdn.net/weixin_52379842/article/details/115001207

版权

java 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

Redis

1．缓存机制原理说明

缓存机制:
缓存中的数据,一定是数据库中的数据,使用缓存主要的目的就是降低用户访问物理设备的频次.
如果数据库记录更新,则缓存应该同步更新.

1.缓存的数据结构 K-V结构进行数据保存
2. 开发语言选择 C语言程序
3. 缓存数据的运行环境在内存中, 断电即擦除. 将内存数据进行持久化操作.
4. 如果不停的添加缓存的记录肯定会造成内存溢出. 定期优化缓存机制.
1.LRU算法 2.LFU算法 3.Random 4.TTL
5. 缓存也需要实现高可用机制.搭建缓存集群.

2. Redis介绍

1. 官网介绍

URL地址: http://www.redis.cn
Redis 是一个开源（BSD许可）的内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。它支持多种类型的数据结构，如字符串（strings），散列（hashes），列表（lists），集合（sets），有序集合（sorted sets）与范围查询， bitmaps， hyperloglogs 和地理空间（geospatial）索引半径查询。 Redis 内置了复制（replication），LUA脚本（Lua scripting）， LRU驱动事件（LRU eviction），事务（transactions）和不同级别的磁盘持久化（persistence），并通过 Redis哨兵（Sentinel）和自动分区（Cluster）提供高可用性（high availability）。

效率: 读: 11.2万次/秒写: 8.6万次/秒平均:10万次/秒口诀: 1-5-8

2. 知识拓展

1.数据库:
1.关系型数据库 mysql数据库/oracle数据 2维表行/列
2.非关系型数据库 mongodb/hbase/Redis 1维表
2. 中间件:
50万次/秒吞吐量

3. Linux上安装Redis

1. 上传安装包

2. 解压redis

说明: tar -xvf redis-5.0.4.tar.gz 解压完成之后删除安装包/ 修改文件名称

3. 安装redis

说明: 在redis根目录中执行如下命令
命令: 1. make
2.make install //c语言转换

4. 进制换算

1k => 1000 bytes
1kb => 1024 bytes
1m => 1000000 bytes
1mb => 10241024 bytes
1g => 1000000000 bytes
1gb => 10241024*1024 bytes

5. 修改Redis配置

配置文件 vim redis.conf
set un 展现行号

1.修改IP绑定 #bing 127.0.0.1
2.关闭保护模式 protected-mode no
3 开启后端运行 demonize yes

4 服务器命令

启动  redis-server  redis.conf
进入客户端  redis-cli  –p  6379  (redis-cli)
退出客户端  exit/quit/ctrl+c
查看状态 ps –ef | grep redis
关闭 redis-cli  –p  6379  shutdown   (redis-cli  shutdown)

	客户端Redis命令(String)  节选
		set        添加key-value                  
		 get     根据key获取value
  		strlen      根据key获取value长度          
  		exist	判断key是否存在
del        删除redis中key                 
keys    用于查询符合条件的key
		mset      赋值多个key-value                
		mget    获取多个key值
		append      dui某个key值进行拼接添加    
		 type     检查某个key的值进行追加
		flushall     清空单个数据库                
		 flushdb   清空所有数据库
		select      切换redis数据库               
		  incr     自动加一
decr        自动减一                      
 incrby    指定增加值
		decrby      指定数值减                     
		expire     指定key的生效时间  单位秒
		pexpire      指定key的生效时间  单位毫秒    t
		tl    检查key的剩余时间  -2 数据不存在  -1数据永不超时
		persist       撤销key的失效时间（persist  key）

5.idea AOP缓存的实现

6.关于Redis持久化机制

业务需求：说明: Redis中将数据都保存到了内存中,但是内存的特点断电及擦除. 为了保证redis中的缓存数据不丢失,则需要将内存数据定期进行持久化操作.
持久化: 将内存数据,写到磁盘中.

1. RDB模式

关于RDB模式说明
特点:
1.RDB模式是Redis默认的持久化规则.
2.RDB模式记录的是Redis内存数据快照(只保留最新数据)
3.RDB模式定期持久化(时间可调) 可能会导致数据丢失.
4.RDB模式备份效率是最高的.
5.RDB模式备份阻塞式的在备份时不允许其他用户操作. 保证数据安全性. save
命令:
1.主动备份 save 会阻塞用户操作
2.后台备份 bgsave 异步的方式进行持久化操作不会阻塞.
持久化文件名称设定和文件存储目录
默认的条件下,持久化文件名称 dump.rdb
./ 代表当前文件目录. 意义使用绝对路径的写法.
RDB模式配置
1.save 900 1 900秒内,用户执行了一次更新操作时,那么就持久化一次
2.save 300 10 300秒内,用户执行了10次更新操作. 那么就持久化一次
3.save 60 10000 60秒内,用户执行了10000次的更新操作,则持久化一次.
4.save 1 1 1秒内 1次更新持久化一次!! 性能特别低.

2. AOF模式

1.开启AOF模式
默认条件下AOF模式默认关闭的. 配置文件中 appendonly yes
2 AOF模式特点
说明: 当开启AOF策略之后,redis持久化以AOF为主.
特点:
1.AOF文件默认关闭的,需要手动开启
2.AOF文件记录的是用户的操作过程.则可以实现实时持久化操作.(几乎不丢数据)
3.AOF文件做追加的操作,所有持久化文件较大.
4.AOF持久化时,采用异步的方式进行.
5 AOF文件需要定期清理.
3.AOF持久化原则(配置文件)

appendfsync always 用户执行一次操作,持久化一次
appendfsync everysec 每秒持久化一次
appendfsync no 不主动持久化

3. 关于AOF与RDB如何选择

   业务:

1.如果用户追求速度,允许少量的数据丢失首选RDB模式. 快
2.如果用户追求数据的安全性. 首选AOF模式.

面试题:
如果你在redis中执行了flushAll命令,如何挽救??
答案:
1.只开启RDB 关闭现有redis，查看RDB文件是否被覆盖，若没有重启redis即可
2.开启AOP 关闭redis，修改AOF文件中,删除flushAll的命令.重启redis即可.
注意事项: 一般条件下 Redis会开启AOF与RDB 2种模式，通过save操作执行rdb持久化操作
常规用法: 一般会配置redis主从结构主机开启RDB模式从机开启AOF模式

4. 单线程Redis为什么快?

1).redis运行环境在内存中,纯内存操作.
2).单线程操作避免频繁的上下文切换. 避免了开关链接的开销.
3).采用了非阻塞I/O(BIO|NIO) 多路复用的机制(动态感知).

7. 关于Redis内存优化策略

1. 业务场景

如果频繁使用redis,不停的向其中保存数据,并且不做删除操作,则内存必然溢出. 能否优化内存策略.
能否自动的删除不用的数据,让redis中保留热点数据!!!.

2. LRU算法

LRU是Least Recently Used的缩写，即最近最少使用，是一种常用的页面置换算法，选择最近最久未使用的页面(数据)予以淘汰。该算法赋予每个页面一个访问字段，用来记录一个页面自上次被访问以来所经历的时间 t，当须淘汰一个页面时，选择现有页面中其 t 值最大的，即最近最少使用的页面予以淘汰。
计算维度: 自上一次以来所经历的时间T.
说明:LRU算法是内存优化中最好用的算法

3. LFU算法

LFU（least frequently used (LFU) page-replacement algorithm）。即最不经常使用页置换算法，要求在页置换时置换引用计数最小的页，因为经常使用的页应该有一个较大的引用次数。但是有些页在开始时使用次数很多，但以后就不再使用，这类页将会长时间留在内存中，因此可以将引用计数寄存器定时右移一位，形成指数衰减的平均使用次数。
维度: 引用次数
常识: 计算机左移扩大倍数
计算机右移缩小倍数

4. 随机算法

随机删除数据.

5. TTL算法

说明:将剩余存活时间排序,将马上要被删除的数据,提前删除.

6. Redis默认的内存优化策略

说明1: Redis中采用的策略定期删除+惰性删除策略
说明2:
1.定期删除: redis默认每隔100ms 检查是否有过期的key, 检查时随机的方式进行检查.(不是检查所有的数据,因为效率太低.)
问题: 由于数据众多,可能抽取时没有被选中.可能出现该数据已经到了超时时间,但是redis并没有马上删除数据.
2. 惰性策略: 当用户获取key的时候,首先检查数据是否已经过了超时时间. 如果已经超时,则删除数据.
问题: 由于数据众多, 用户不可能将所有的内存数据都get一遍.必然会出现需要删除的数据一直保留在内存中的现象.占用内存资源.
3.可以采用上述的内存优化手段,主动的删除.

内存优化算法说明:
1.volatile-lru 在设定超时时间的数据 采用LRU算法进行优化
2.allkeys-lru 在所有的数据采用LRU算法进行优化
3.volatile-lfu 在设定了超时时间的数据中采用LFU算法优化
4.allkeys-lfu 在所有的数据中采用LFU算法进行优化
5.volatile-random 在设定了超时时间的数据 采用随机算法
6.allkeys-random 所有数据采用 随机算法
7.volatile-ttl 设定超时时间的TTl算法
8.noeviction 不主动删除数据,如果内存溢出则报错返回.

8. 缓存穿透，缓存击穿，缓存雪崩

1. 缓存穿透

说明: 在高并发的条件下,用户频繁访问一个不存在的数据.导致大量的请求直接发往数据库.导致服务器宕机.
解决方案:

只要能够保障用户访问的数据数据库中一定存在. 布隆过滤器
IP限流黑名单. 微服务中可以通过API网关进行控制

2. 缓存击穿

说明: 在高并发条件下用户频繁访问一个热点数据. 但是该热点数据在缓存中失效.导致用户直接访问数据库.
俗语: 称它病,要它命

3. 缓存雪崩

说明: 在高并发的条件下, 有大量的缓存数据失效了. 导致redis缓存服务器命中率太低.从而导致用户直接访问数据库.
主要问题: 热点数据失效.
解决方案:
1.为热点数据设定超时时间时采用随机数. 10秒+随机数保障数据不会同时失效.
2.设定多级缓存

布隆过滤器（*）

9.Redis分片机制

9.1 分片机制

说明: 如果有海量的内存数据需要保存,但是都把数据保存到1个redis中,查询的效率太低.如果这台redis服务器宕机,.则整个缓存将不能使用.
解决方案: 采用redis分片机制。

9.2 准备配置文件

复制配置文件redis.conf 到新创建shards文件夹下并改名6379.conf/6380.conf/6381.conf

9.3修改端口号

在配置文件中分别将三个改成对应的端口号

9.4启动三台redis

在shards目录下redis-server 6379.conf。。。启动三台redis

10一致性hash算法

10.1介绍

一致性哈希算法在1997年由麻省理工学院提出，是一种特殊的哈希算法，目的是解决分布式缓存的问题。在移除或者添加一个服务器时，能够尽可能小地改变已存在的服务请求与处理请求服务器之间的映射关系。一致性哈希解决了简单哈希算法在分布式哈希表( Distributed Hash Table，DHT) 中存在的动态伸缩等问题。
核心知识: