从缓存到Redis
一、缓存的基础知识
(1)为什么使用缓存
有些数据读写比特别高:这些数据变动特别小,读取到次数特别多,所以把这些数据在内存中缓存起来;
这样就可以把这些数据从远程、从磁盘放到内存里来。
(2)缓存的本质
使用空间换时间。
CPU、内存、磁盘、网络IO等等,系统各级处理速度不匹配。
因此,缓存用不好,是会比较大的浪费内存资源的。
(3)缓存的加载时机
-
启动全量加载
- 利:全局有效,使用简单;
- 弊:可能加载的慢,可能会浪费内存资源(比如:加载200万条,只使用其中的10万条);
-
懒加载(使用的时候,再加载)
方式一:同步使用加载:以数据库为准
- 先看缓存是否有数据,没有的话从数据库读取;
- 读取的数据,先放缓存,然后返回给调用方;
方式二:延迟异步加载:以缓存为准
- 默认缓存的数据是可靠的,随时去缓存中去读;
- 策略一:没有话,则发起一个异步加载的线程,从数据库里拉取数据,将数据同步到缓存中;
- 策略二:直接用一个异步的线程,定期或根据条件触发更新,把数据库中增量变化的数据,加载到缓存中来;
(4)缓存的两种使用方式
使用方式一:本地缓存
只在当前的JVM里生效。
- 平时用到的ORM框架:hibernate 、mybatis之类,都有两级的本地缓存;
- 最简单的本地缓存:使用一个Map来存数据;
- 更进一步:caffeine、Guava caches
使用方式二:远程缓存(集中式缓存)
缓存中间件,有三大类:
-
Redis/Memcached
redis是缓存领域的事实标准,简单、快。
-
Hazelcast/Ignite 内存网格
把现在分布式的一致性和缓存结合起来
-
kv存储:区分冷数据和热数据。数据量特别大,可以使用这些:
tikv、kvrocks、pegasus
这些都实现了redis协议的接口,可以当作redis来用。
Spring Cache:Spring Cache 是 Spring 框架提供的一个简化缓存管理的抽象层,它可以帮助开发者轻松地将缓存功能集成到 Spring 应用中。Spring Cache 通过注解和接口,使得缓存的使用变得简单而灵活,支持多种缓存实现(如 EhCache、Caffeine、Redis 等)。
二、Redis
(1)安装Redis
mac 上安装:
-- 查看redis的版本
$ brew search redis
--
centos 上支持的redis版本:
-- 查看支持的redis版本
$ yum search redis
大规模使用的redis版本为:6.2.6
https://redis.io/downloads/
-- 解压
$ tar -zxvf softs/redis-6.2.14.tar.gz -C servers/
$ make && make install
这些命令都在src目录下:
$ ll src/redis-* | grep '^[-rwx]*x'
-rwxr-xr-x 1 lifei staff 427672 6 24 13:34 src/redis-benchmark*
-rwxr-xr-x 1 lifei staff 1841104 6 24 13:34 src/redis-check-aof*
-rwxr-xr-x 1 lifei staff 1841104 6 24 13:34 src/redis-check-rdb*
-rwxr-xr-x 1 lifei staff 362464 6 24 13:34 src/redis-cli*
-rwxr-xr-x 1 lifei staff 1841104 6 24 13:34 src/redis-sentinel*
-rwxr-xr-x 1 lifei staff 1841104 6 24 13:34 src/redis-server*
-rwxr-xr-x 1 lifei staff 3600 10 18 2023 src/redis-trib.rb*
编译完成之后,查看redis版本:
$ redis-server -v
Redis server v=6.2.14 sha=00000000:0 malloc=libc bits=64 build=836ce99012cb6f31
(2)redis的三种模式
-
第一种模式:单机的redis:需要
redis-server
就够了; -
第二种模式:哨兵机制。需要
redis-sentinel
哨兵,监听redis是否宕机,主节点宕机,就会选择从节点;redis-sentinel
和redis-server
文件大小一样,其实它们是一个东西,只不过启动的时候添加的参数不一样。 -
第三种模式:redis-cluster:
(3)启动redis,并查看redis的性能
启动redis:
$ cd redis-6.2.14/
$ mkdir -p logs
$ mkdir -p data
appendfilename
:AOF记录每一个写操作,对应的文件名;appendonly
:是否开启AOF;dbfilename
:记录快照的文件名;dir
:指定appendfilename
、appendonly
存放的目录,不能使用相对路径,要实用绝对路径logfile
:指定日志存放文件;daemonize
:指定redis是否以守护线程方式运行;
./src/redis-server --port 6379 --dir /Users/lifei/Downloads/dev/servers/redis-6.2.14/data --appendonly yes --appendfilename appendonly-6379.aof --dbfilename dump-6379.rdb --logfile /Users/lifei/Downloads/dev/servers/redis-6.2.14/logs/6379.log --daemonize yes
查看redis的性能:32 个并发连接,调用10万次
$ redis-benchmark -n 100000 -c 32 -t SET,GET,INCR,HSET,LPUSH,MSET -q
SET: 87412.59 requests per second, p50=0.207 msec
GET: 87260.03 requests per second, p50=0.183 msec
INCR: 87719.30 requests per second, p50=0.207 msec
LPUSH: 87260.03 requests per second, p50=0.215 msec
HSET: 88028.16 requests per second, p50=0.215 msec
MSET (10 keys): 52938.06 requests per second, p50=0.439 msec
可以看到除了MSET,其它的SET,GET 等请求,每秒钟可以处理8万次请求。
p50:有一半的请求,在0.2毫秒内就处理完了。
(4)redis的数据结构
五种基本数据结构
- 字符串(String):存储数字(int)、文本(string)或二进制数据(byte[])
- 哈希(Hash):用来存储键值对集合
- 列表(List):有序字符串列表,可以从两端插入和移除元素
- 集合(Set):无序的字符串集合
- 有序集合(Sorted Set 或 Zset):类似集合,但每个元素都会关联一个分数,元素按分数排序
四种高级数据结构
- 位图(Bitmap)
- HyperLogLog
- GEO:地理空间(Geospatial),redis 3.2
- 流(Stream), redis 5.0
(6)redis到底是单线程还是多线程
redis的核心数据处理永远是单线程的。因为它的高性能是建立在没有并发,没有锁的情况下完成的。
查看redis的线程:
-- centos上 安装gdb
brew install gdb
pstack <pid>
-- mac 行
xcode-select --install
lldb -p <pid>
thread backtrace all
将压测运行起来,继续看线程
(7)redis的常规操作
-- string
127.0.0.1:6379> set k01 a01
OK
127.0.0.1:6379> get k01
"a01"
127.0.0.1:6379> INCR counter
(integer) 1
127.0.0.1:6379> INCR counter
(integer) 2
127.0.0.1:6379> DECR conter
(integer) -1
127.0.0.1:6379> DECR counter
(integer) 1
127.0.0.1:6379> APPEND k01 b02
(integer) 6
127.0.0.1:6379> get k01
"a01b02"
-- 哈希
127.0.0.1:6379> HSET user01 name 'aa' score 23
(integer) 2
127.0.0.1:6379> HGET user01 name
"aa"
127.0.0.1:6379> HGETALL user01
1) "name"
2) "aa"
3) "score"
4) "23"
127.0.0.1:6379>
-- list
127.0.0.1:6379> LPUSH list01 1 2 3 4
(integer) 4
127.0.0.1:6379> LPOP list01
"4"
127.0.0.1:6379> RPOP list01
"1"
127.0.0.1:6379> LRANGE list01 0 1
1) "3"
2) "2"
127.0.0.1:6379>
-- 集合
127.0.0.1:6379> SADD set01 'aa' 'aa' 'bb' 'cc'
(integer) 3
127.0.0.1:6379> SREM set01 'aa'
(integer) 1
127.0.0.1:6379> SREM set01 'bb'
(integer) 1
127.0.0.1:6379> SREM set01 'cc'
(integer) 1
127.0.0.1:6379> SMEMBERS set01
(empty array)
127.0.0.1:6379> SADD set01 'aa' 'bb'
(integer) 2
127.0.0.1:6379> SMEMBERS set01
1) "bb"
2) "aa"
127.0.0.1:6379>
-- 无序集合
127.0.0.1:6379> ZADD myzset 1 'one'
(integer) 1
127.0.0.1:6379> ZADD myzset 3 'two'
(integer) 1
127.0.0.1:6379> ZADD myzset 2 'threee'
(integer) 1
127.0.0.1:6379> ZRANGE myzset 1 2
1) "threee"
2) "two"
127.0.0.1:6379>
当执行这些命令的时候,redis客户端给redis服务端发送什么信息,redis服务端给redis客户端返回什么信息?
(8)redis协议规范
redis协议规范,定义了redis交互的时候,使用的数据格式。
https://redis.io/docs/latest/develop/reference/protocol-spec/
在macOS上本地流量不会通过网络接口发送,因此tcpdump无法抓取到本地redis流量。
cd /data/dev/servers/redis-6.2.14
mkdir -p {data,logs}
./src/redis-server --port 6379 --dir /data/dev/servers/redis-6.2.14/data --appendonly yes --appendfilename appendonly-6379.aof --dbfilename dump-6379.rdb --logfile /data/dev/servers/redis-6.2.14/logs/6379.log --daemonize yes --protected-mode no
显示系统当前的网络连接,并筛选出所有处LISTEN状态的TCP连接。
netstat -antop | grep LIST
启动redis客户端:
$ ./src/redis-cli -h <redis-remote-ip>
开始抓包:
sudo tcpdump -s 0 -vvnnS -c 10000 -AX tcp port 6379 and host <redis-remote-ip>
三、redis-cluster
快速搭建redis集群:https://blog.csdn.net/hefrankeleyn/article/details/139999092
一般用3个节点或5个节点,保持单数。
(1)3主节点
mkdir cluster-conf
直接运行create-redis-cluster-3.sh
,
查看集群情况:
$ ps aux | grep redis-server
查看集群的状态:
$ ./src/redis-cli -p 6000 cluster nodes
513fc12cb71f7e6830398295eb4dc06ec29b6f01 127.0.0.1:6001@16001 master - 0 1719361763466 2 connected 5461-10922
27fad9fe9baa883ed0e92df5f232d04ce438b1b0 127.0.0.1:6002@16002 master - 0 1719361762960 3 connected 10923-16383
43eeb0a82a9eb3b6de6e69a11c9a38f44beedbf2 127.0.0.1:6000@16000 myself,master - 0 1719361762000 1 connected 0-5460
- 哈希槽
-c
参数
使用:
$ ./src/redis-cli -p 6000
127.0.0.1:6000> set k1 100
(error) MOVED 12706 127.0.0.1:6002
127.0.0.1:6000> set k2 200
OK
127.0.0.1:6000> set k3 300
OK
127.0.0.1:6000> CLUSTER KEYSLOT k1
(integer) 12706
127.0.0.1:6000> CLUSTER KEYSLOT k2
(integer) 449
127.0.0.1:6000> quit
-- 加上 -c 参数,可以自动跳到合适的槽位上
$ ./src/redis-cli -c -p 6000
127.0.0.1:6000> set k1 100
-> Redirected to slot [12706] located at 127.0.0.1:6002
OK
127.0.0.1:6002> set k2 200
-> Redirected to slot [449] located at 127.0.0.1:6000
OK
127.0.0.1:6000> set k3 300
OK
127.0.0.1:6000> CLUSTER KEYSLOT k1
(integer) 12706
127.0.0.1:6000>
cluster-require-full-coverage
参数
把其中一个节点kill掉,会发生什么:宕了一个节点,其它节点也不能用了。
127.0.0.1:6001> set k1 100
(error) CLUSTERDOWN The cluster is down
把宕机的节点重启之后就好了。
$ ./src/redis-cli -p 6000 cluster nodes
宕掉一个节点,查看状态。
如何才能让宕掉一个节点,依然起作用呢?
cluster-require-full-coverage
参数,默认是yes,表示节点全部正常,集群才起作用。把它改成no。
cluster-require-full-coverage no
然后重新创建集群,清空历史数据后,运行create-redis-cluster-no-full-3.sh
rm -rf data/*
rm -rf cluster-conf/*
$ ./src/redis-cli -c -p 6000
127.0.0.1:6000> get k1
-> Redirected to slot [12706] located at 127.0.0.1:6002
(nil)
127.0.0.1:6002> set k1 100
OK
127.0.0.1:6002> set k2 200
-> Redirected to slot [449] located at 127.0.0.1:6000
OK
127.0.0.1:6000> set k3 300
OK
127.0.0.1:6000> set k4 400
-> Redirected to slot [8455] located at 127.0.0.1:6001
这个时候,再去干掉一个节点,发现存活的节点还能用
再干掉一个节点,只剩下一个存活的节点:
127.0.0.1:6001> get k4
(error) CLUSTERDOWN The cluster is down
如果存活节点数,少于一半,无论如何都不能用了。多于一半,刚那个参数是可以用的。
利:集群容量可以线性扩张;
弊:对于不放在这个节点的数据,获取不到;
(2)3主3从
直接运行:create-redis-cluster-6-3m3s.sh
如果没有运行起来,可能是端口被占用了。
lsof -i:7000
$ ./src/redis-cli -c -p 7001
127.0.0.1:7001> cluster nodes
f71ebe522c66975b12ec623f53331ed6a5b15a40 127.0.0.1:7003@17003 master - 0 1719380412595 3 connected 10923-16383
67f479015cedf489b6a6542c139711beccd74423 127.0.0.1:7006@17006 slave f71ebe522c66975b12ec623f53331ed6a5b15a40 0 1719380411583 3 connected
ebd2f7ac281a413a0af2059389866a5c041b4255 127.0.0.1:7002@17002 master - 0 1719380411583 2 connected 5461-10922
4ed0f1de4d91fb4eec406a1b6e8688713702c87f 127.0.0.1:7004@17004 slave 2cdc24b20be21f9af998e329e68ee22947393b0c 0 1719380412000 1 connected
2cdc24b20be21f9af998e329e68ee22947393b0c 127.0.0.1:7001@17001 myself,master - 0 1719380412000 1 connected 0-5460
442c6a74ab908f87dfdb5f96c5bef80567bb82b5 127.0.0.1:7005@17005 slave ebd2f7ac281a413a0af2059389866a5c041b4255 0 1719380412697 2 connected
127.0.0.1:7001>
设置几个数据,干掉一个节点。
再把宕机的节点拉起来。