从缓存到redis

于 2024-06-26 21:43:42 发布
阅读量835 收藏 20
点赞数 10
文章标签： 缓存 redis 架构 架构师
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hefrankeleyn/article/details/139999184
版权

从缓存到Redis

文章目录

一、缓存的基础知识

（1）为什么使用缓存

有些数据读写比特别高：这些数据变动特别小，读取到次数特别多，所以把这些数据在内存中缓存起来；

这样就可以把这些数据从远程、从磁盘放到内存里来。

（2）缓存的本质

使用空间换时间。

CPU、内存、磁盘、网络IO等等，系统各级处理速度不匹配。

因此，缓存用不好，是会比较大的浪费内存资源的。

（3）缓存的加载时机

  1. 启动全量加载

    • 利：全局有效，使用简单；
    • 弊：可能加载的慢，可能会浪费内存资源（比如：加载200万条，只使用其中的10万条）；

  2. 懒加载（使用的时候，再加载）

    方式一：同步使用加载：以数据库为准

    • 先看缓存是否有数据，没有的话从数据库读取；
    • 读取的数据，先放缓存，然后返回给调用方；

    方式二：延迟异步加载：以缓存为准

    • 默认缓存的数据是可靠的，随时去缓存中去读；
    • 策略一：没有话，则发起一个异步加载的线程，从数据库里拉取数据，将数据同步到缓存中；
    • 策略二：直接用一个异步的线程，定期或根据条件触发更新，把数据库中增量变化的数据，加载到缓存中来；

（4）缓存的两种使用方式

使用方式一：本地缓存

只在当前的JVM里生效。

  • 平时用到的ORM框架：hibernate 、mybatis之类，都有两级的本地缓存；
  • 最简单的本地缓存：使用一个Map来存数据；
  • 更进一步：caffeine、Guava caches
使用方式二：远程缓存（集中式缓存）

缓存中间件，有三大类：

  • Redis/Memcached

    redis是缓存领域的事实标准，简单、快。

  • Hazelcast/Ignite 内存网格

    把现在分布式的一致性和缓存结合起来

  • kv存储：区分冷数据和热数据。数据量特别大，可以使用这些：

    tikv、kvrocks、pegasus

    这些都实现了redis协议的接口，可以当作redis来用。

Spring Cache：Spring Cache 是 Spring 框架提供的一个简化缓存管理的抽象层，它可以帮助开发者轻松地将缓存功能集成到 Spring 应用中。Spring Cache 通过注解和接口，使得缓存的使用变得简单而灵活，支持多种缓存实现（如 EhCache、Caffeine、Redis 等）。

二、Redis

（1）安装Redis

mac 上安装：

-- 查看redis的版本
$ brew search redis
--

centos 上支持的redis版本：

-- 查看支持的redis版本
$ yum search redis

大规模使用的redis版本为：6.2.6

https://redis.io/downloads/

-- 解压
$ tar -zxvf softs/redis-6.2.14.tar.gz -C servers/
$ make && make install

这些命令都在src目录下：

$ ll src/redis-* | grep '^[-rwx]*x'
-rwxr-xr-x  1 lifei  staff   427672  6 24 13:34 src/redis-benchmark*
-rwxr-xr-x  1 lifei  staff  1841104  6 24 13:34 src/redis-check-aof*
-rwxr-xr-x  1 lifei  staff  1841104  6 24 13:34 src/redis-check-rdb*
-rwxr-xr-x  1 lifei  staff   362464  6 24 13:34 src/redis-cli*
-rwxr-xr-x  1 lifei  staff  1841104  6 24 13:34 src/redis-sentinel*
-rwxr-xr-x  1 lifei  staff  1841104  6 24 13:34 src/redis-server*
-rwxr-xr-x  1 lifei  staff     3600 10 18  2023 src/redis-trib.rb*

编译完成之后，查看redis版本：

$ redis-server -v
Redis server v=6.2.14 sha=00000000:0 malloc=libc bits=64 build=836ce99012cb6f31

（2）redis的三种模式

  • 第一种模式：单机的redis：需要redis-server就够了；

  • 第二种模式：哨兵机制。需要redis-sentinel哨兵，监听redis是否宕机，主节点宕机，就会选择从节点；

    redis-sentinel和redis-server文件大小一样，其实它们是一个东西，只不过启动的时候添加的参数不一样。

  • 第三种模式：redis-cluster：

（3）启动redis，并查看redis的性能

启动redis：

$ cd redis-6.2.14/
$ mkdir -p logs
$ mkdir -p data
  • appendfilename：AOF记录每一个写操作，对应的文件名；
  • appendonly：是否开启AOF；
  • dbfilename：记录快照的文件名；
  • dir ：指定appendfilename、appendonly存放的目录，不能使用相对路径，要实用绝对路径
  • logfile：指定日志存放文件；
  • daemonize：指定redis是否以守护线程方式运行；
./src/redis-server --port 6379 --dir /Users/lifei/Downloads/dev/servers/redis-6.2.14/data --appendonly yes --appendfilename appendonly-6379.aof --dbfilename dump-6379.rdb --logfile /Users/lifei/Downloads/dev/servers/redis-6.2.14/logs/6379.log --daemonize yes

查看redis的性能：32 个并发连接，调用10万次

$ redis-benchmark -n 100000 -c 32 -t SET,GET,INCR,HSET,LPUSH,MSET -q
SET: 87412.59 requests per second, p50=0.207 msec
GET: 87260.03 requests per second, p50=0.183 msec
INCR: 87719.30 requests per second, p50=0.207 msec
LPUSH: 87260.03 requests per second, p50=0.215 msec
HSET: 88028.16 requests per second, p50=0.215 msec
MSET (10 keys): 52938.06 requests per second, p50=0.439 msec

可以看到除了MSET，其它的SET,GET 等请求，每秒钟可以处理8万次请求。

p50：有一半的请求，在0.2毫秒内就处理完了。

（4）redis的数据结构

五种基本数据结构
  1. 字符串（String）：存储数字（int）、文本（string）或二进制数据（byte[]）
  2. 哈希（Hash）：用来存储键值对集合
  3. 列表（List）：有序字符串列表，可以从两端插入和移除元素
  4. 集合（Set）：无序的字符串集合
  5. 有序集合（Sorted Set 或 Zset）：类似集合，但每个元素都会关联一个分数，元素按分数排序
四种高级数据结构
  1. 位图（Bitmap）
  2. HyperLogLog
  3. GEO：地理空间（Geospatial），redis 3.2
  4. 流（Stream）， redis 5.0

（6）redis到底是单线程还是多线程

redis的核心数据处理永远是单线程的。因为它的高性能是建立在没有并发，没有锁的情况下完成的。

查看redis的线程：

-- centos上 安装gdb
brew install gdb
pstack <pid>

-- mac 行
xcode-select --install

lldb -p <pid>

thread backtrace all

将压测运行起来，继续看线程

（7）redis的常规操作

-- string
127.0.0.1:6379> set k01 a01
OK
127.0.0.1:6379> get k01
"a01"
127.0.0.1:6379> INCR counter
(integer) 1
127.0.0.1:6379> INCR counter
(integer) 2
127.0.0.1:6379> DECR conter
(integer) -1
127.0.0.1:6379> DECR counter
(integer) 1
127.0.0.1:6379> APPEND k01 b02
(integer) 6
127.0.0.1:6379> get k01
"a01b02"
-- 哈希
127.0.0.1:6379> HSET user01 name 'aa' score 23
(integer) 2
127.0.0.1:6379> HGET user01 name
"aa"
127.0.0.1:6379> HGETALL user01
1) "name"
2) "aa"
3) "score"
4) "23"
127.0.0.1:6379>

-- list
127.0.0.1:6379> LPUSH list01 1 2 3 4
(integer) 4
127.0.0.1:6379> LPOP list01
"4"
127.0.0.1:6379> RPOP list01
"1"
127.0.0.1:6379> LRANGE list01 0 1
1) "3"
2) "2"
127.0.0.1:6379>

-- 集合
127.0.0.1:6379> SADD set01 'aa' 'aa' 'bb' 'cc'
(integer) 3
127.0.0.1:6379> SREM set01 'aa'
(integer) 1
127.0.0.1:6379> SREM set01 'bb'
(integer) 1
127.0.0.1:6379> SREM set01 'cc'
(integer) 1
127.0.0.1:6379> SMEMBERS set01
(empty array)
127.0.0.1:6379> SADD set01 'aa' 'bb'
(integer) 2
127.0.0.1:6379> SMEMBERS set01
1) "bb"
2) "aa"
127.0.0.1:6379>

-- 无序集合
127.0.0.1:6379> ZADD myzset 1 'one'
(integer) 1
127.0.0.1:6379> ZADD myzset 3 'two'
(integer) 1
127.0.0.1:6379> ZADD myzset 2 'threee'
(integer) 1
127.0.0.1:6379> ZRANGE myzset 1 2
1) "threee"
2) "two"
127.0.0.1:6379>

当执行这些命令的时候，redis客户端给redis服务端发送什么信息，redis服务端给redis客户端返回什么信息？

（8）redis协议规范

redis协议规范，定义了redis交互的时候，使用的数据格式。

https://redis.io/docs/latest/develop/reference/protocol-spec/

在macOS上本地流量不会通过网络接口发送，因此tcpdump无法抓取到本地redis流量。

cd /data/dev/servers/redis-6.2.14
mkdir -p {data,logs}

./src/redis-server --port 6379 --dir /data/dev/servers/redis-6.2.14/data --appendonly yes --appendfilename appendonly-6379.aof --dbfilename dump-6379.rdb --logfile /data/dev/servers/redis-6.2.14/logs/6379.log --daemonize yes --protected-mode no

显示系统当前的网络连接，并筛选出所有处LISTEN状态的TCP连接。

netstat -antop | grep LIST

启动redis客户端：

$ ./src/redis-cli -h <redis-remote-ip>

开始抓包：

sudo tcpdump  -s 0 -vvnnS -c 10000 -AX  tcp port 6379 and host <redis-remote-ip>

三、redis-cluster

快速搭建redis集群：https://blog.csdn.net/hefrankeleyn/article/details/139999092

一般用3个节点或5个节点，保持单数。

（1）3主节点

mkdir cluster-conf
直接运行create-redis-cluster-3.sh，

查看集群情况：

$ ps aux | grep redis-server

查看集群的状态：

$ ./src/redis-cli -p 6000 cluster nodes
513fc12cb71f7e6830398295eb4dc06ec29b6f01 127.0.0.1:6001@16001 master - 0 1719361763466 2 connected 5461-10922
27fad9fe9baa883ed0e92df5f232d04ce438b1b0 127.0.0.1:6002@16002 master - 0 1719361762960 3 connected 10923-16383
43eeb0a82a9eb3b6de6e69a11c9a38f44beedbf2 127.0.0.1:6000@16000 myself,master - 0 1719361762000 1 connected 0-5460
  • 哈希槽
-c参数

使用：

$ ./src/redis-cli -p 6000
127.0.0.1:6000> set k1 100
(error) MOVED 12706 127.0.0.1:6002
127.0.0.1:6000> set k2 200
OK
127.0.0.1:6000> set k3 300
OK
127.0.0.1:6000> CLUSTER KEYSLOT k1
(integer) 12706
127.0.0.1:6000> CLUSTER KEYSLOT k2
(integer) 449
127.0.0.1:6000> quit

-- 加上 -c 参数，可以自动跳到合适的槽位上
$ ./src/redis-cli -c -p 6000
127.0.0.1:6000> set k1 100
-> Redirected to slot [12706] located at 127.0.0.1:6002
OK
127.0.0.1:6002> set k2 200
-> Redirected to slot [449] located at 127.0.0.1:6000
OK
127.0.0.1:6000> set k3 300
OK
127.0.0.1:6000> CLUSTER KEYSLOT k1
(integer) 12706
127.0.0.1:6000>
cluster-require-full-coverage参数

把其中一个节点kill掉，会发生什么：宕了一个节点，其它节点也不能用了。

127.0.0.1:6001> set k1 100
(error) CLUSTERDOWN The cluster is down

把宕机的节点重启之后就好了。

$ ./src/redis-cli -p 6000 cluster nodes

宕掉一个节点，查看状态。

如何才能让宕掉一个节点，依然起作用呢？

cluster-require-full-coverage参数，默认是yes，表示节点全部正常，集群才起作用。把它改成no。

cluster-require-full-coverage no

然后重新创建集群，清空历史数据后，运行create-redis-cluster-no-full-3.sh

rm -rf data/*
rm -rf cluster-conf/*

$ ./src/redis-cli -c -p 6000
127.0.0.1:6000> get k1
-> Redirected to slot [12706] located at 127.0.0.1:6002
(nil)
127.0.0.1:6002> set k1 100
OK
127.0.0.1:6002> set k2 200
-> Redirected to slot [449] located at 127.0.0.1:6000
OK
127.0.0.1:6000> set k3 300
OK
127.0.0.1:6000> set k4 400
-> Redirected to slot [8455] located at 127.0.0.1:6001

这个时候，再去干掉一个节点，发现存活的节点还能用

再干掉一个节点，只剩下一个存活的节点：

127.0.0.1:6001> get k4
(error) CLUSTERDOWN The cluster is down

如果存活节点数，少于一半，无论如何都不能用了。多于一半，刚那个参数是可以用的。

利：集群容量可以线性扩张；

弊：对于不放在这个节点的数据，获取不到；

（2）3主3从

直接运行：create-redis-cluster-6-3m3s.sh

如果没有运行起来，可能是端口被占用了。

lsof -i:7000

$ ./src/redis-cli -c -p 7001
127.0.0.1:7001> cluster nodes
f71ebe522c66975b12ec623f53331ed6a5b15a40 127.0.0.1:7003@17003 master - 0 1719380412595 3 connected 10923-16383
67f479015cedf489b6a6542c139711beccd74423 127.0.0.1:7006@17006 slave f71ebe522c66975b12ec623f53331ed6a5b15a40 0 1719380411583 3 connected
ebd2f7ac281a413a0af2059389866a5c041b4255 127.0.0.1:7002@17002 master - 0 1719380411583 2 connected 5461-10922
4ed0f1de4d91fb4eec406a1b6e8688713702c87f 127.0.0.1:7004@17004 slave 2cdc24b20be21f9af998e329e68ee22947393b0c 0 1719380412000 1 connected
2cdc24b20be21f9af998e329e68ee22947393b0c 127.0.0.1:7001@17001 myself,master - 0 1719380412000 1 connected 0-5460
442c6a74ab908f87dfdb5f96c5bef80567bb82b5 127.0.0.1:7005@17005 slave ebd2f7ac281a413a0af2059389866a5c041b4255 0 1719380412697 2 connected
127.0.0.1:7001>

设置几个数据，干掉一个节点。

再把宕机的节点拉起来。

鲲鹏飞九万里
关注
  • 10
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
利用Redis进行数据缓存
Serendipity的博客
04-26 8244
1. 引言 缓存有啥用？ 降低对数据库的请求，减轻服务器压力 提高了读写效率 缓存有啥缺点？ 如何保证数据库与缓存的数据一致性问题？ 维护缓存代码 搭建缓存一般是以集群的形式进行搭建，需要运维的成本 2. 将信息添加到缓存的业务流程 上图可以清晰的了解Redis在项目中所处的位置，是数据库与客户端之间的一个中间件，也是数据库的保护伞。有了Redis可以帮助数据库进行请求的阻挡，阻止请求直接打入数据库，提高响应速率，极大的提升了系统的稳定性。 3. 实现代码 下面将根据查询商铺信息来作为背景进行代
redis本地缓存与redis缓存
02-14
然而，由于涉及网络通信，Redis缓存的读写速度相对于本地缓存略慢，但可以通过设置合适的缓存策略（如LRU、LFU）和主从复制、分片等技术来优化性能。 在实际应用中，本地缓存通常用于短期、频繁访问且对数据一致性...
REDIS实现数据缓存
oppoppoppo的专栏
12-12 329
注意 使用的Map必须是String，String类型的，意味着如果使用Map存储User和Userid，Userid作为key，对象作为value，那么对象在进入map之前需要使用fastjson进行object到json的转换。 tips：jedis.sadd（key value）创建一个list名字是key value是值 查询List smembers listname 如何
怎么把数据存入缓存redis里_SpringBoot+Redis轻松实现数据缓存
weixin_29194693的博客
01-21 3491
1.为什么需要缓存为什么需要缓存，我相信搞开发的都能回答出来，无非就是为了降低数据库压力，节约资源，提升系统性能。而事实上也确实是，归根结底就是降压，高并发，高性能。不过，大厂里那一套高并发的东西不在本篇讲述。下面我们就spring boot 整合redis ，实现数据缓存的demo。2.搭建Springboot工程搭建spring boot工程，此处就不多赘述了，大家可以自己去官网下载然后导入，...
使用内存实现类似Redis缓存的内存缓存功能
最新发布
weixin_41713225的博客
05-21 161
Redis缓存作为常见的缓存应用，分布广泛，但有时候我们的系统根本不需要使用Redis或者其他第三方缓存软件，因为系统功能比较简单，尤其在缓存内容这块。所以，该文章将向你介绍，如何主要使用和。
Redis( stringRedisTemplate)添加缓存数据
weixin_45934981的博客
09-06 3431
Redis( stringRedisTemplate)添加缓存数据
django框架用户权限中的session缓存到redis中的方法
09-09
总结一下，通过上述步骤，我们实现了 Django 框架中用户权限的 session 数据从数据库迁移到 Redis 缓存的过程。这种方法可以显著提升应用在高并发情况下的性能，同时保持用户权限的有效管理。请记住，实际部署时需要...
redis缓存 redis缓存
06-11
redis缓存 redis缓存
Spring Cache手动清理Redis缓存
08-25
Spring Cache手动清理Redis缓存 Spring Cache是Spring框架中的一种缓存机制，它可以将缓存数据存储在Redis中。然而，在某些情况下，我们需要手动清理Redis缓存，以便释放内存空间或更新缓存数据。在本文中，我们将...
分布式缓存技术Redis在C#中的使用
07-06
Redis是一款开源的、高性能的键-值存储（key-value store）。它常被称作是一款数据结构服务器（data structure server）。Redis的键值可以包括字符串（strings）、哈希（hashes）、列表（lists）、集合（sets）和 ...
使用redis缓存从数据库中读取数据
gaisidewangzhan1的博客
04-26 1万+
使用redis从数据库中读取数据后缓存：&lt;?php header('Content-type:text/html;charset=utf-8'); date_default_timezone_set('Asia/Shanghai'); $time = time();//获取时间戳设置时间区 $link = mysqli_connect('127.0.0.1:3306','root','ro...
将数据写入到redis缓存/取出/删除 消息队列
u014729216的博客
02-24 2356
将数据写入到redis缓存,写入 取出 删除 Redis的安装及开启服务就不在这章多讲，直接上写入缓存，从缓存中取出数据，取出成功后在删除缓存。 1:：添加Redis组件包 1：写入缓存 //1获取Redis操作接口 var redisClient = RedisManager.GetClient() //2将添加的数据存储到Redis //2.1 answer redis里面储存的名称，类似于一张表一样，添加成功的数据 model.t..
将数据存入redis进行读取数据
热门推荐
郝云博客
07-06 2万+
<?php header("content-type:text/html;charset=utf8"); $page=isset($_GET['page'])?$_GET['page']:1;//判断有没有页数，如果没有页数的话从一开始 $redis = new Redis();//实例化redis //使用memcache方法 $r...
用java把数据缓存到redis中代码示例
weixin_53111201的博客
01-15 2318
@用java把数据缓存到redis中代码示例TOC util工具类 package com.vqseo.redisservice; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.data.redis.core.StringRedisTemplate; import org.springframework.stereotype.Service; import java.uti
将对象缓存到redis中
qq_3775566111的博客
03-09 3471
1，java配置redis客户端public class RedisClient implements Serializable{ private Jedis jedis; private JedisPool jedisPool; ShardedJedis shardedJedis; private ShardedJedisPool shardedJedisPoo...
Java使用redis:将数据插入redis缓存的方式
学英语的程序员
03-28 2976
redis.pool.maxTotal=1000 redis.pool.maxIdle=200 redis.pool.maxWaitMillis=2000 redis.pool.testOnBorrow=true jedis.host=127.0.0.1 jedis.port=6379
批量插入缓存数据到redis
08-20 3528
批量插入缓存数据到redis 缓存预热就是系统上线后，提前将相关的缓存数据直接加载到缓存系统。避免在用户请求的时候，先查询数据库，然后再将数据缓存的问题！用户直接查询事先被预热的缓存数据！ 如果数据量不大，在系统启动前直接灌入。比如写个php脚本或者shell脚本来完成。 我们这里看看redis有没有什么好办法？ redis有个pipe mode，可以根据redis协议的格式生成一个文件，...
redis工具类将数据缓存到redis中
09-15
Redis工具类将数据缓存到Redis中的过程如下： 1. 首先，通过连接池获取一个Redis连接。...6. 如果键值不存在，即表示缓存数据未命中，需要从其他数据源中获取数据，并将获取到的数据存储到Redis中，以便下次使用。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值