Redis系统缓存使用经验总结

最新推荐文章于 2024-04-19 23:43:07 发布
最新推荐文章于 2024-04-19 23:43:07 发布
阅读量1.4k 收藏
点赞数
文章标签： redis 系统缓存 穿透雪崩 lua脚本 二进制存储
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jirsngcng/article/details/80068519
版权
Redis系统缓存使用经验总结

1、接口请求缓存，车机获取天气数据接口校验，licence为唯一标识

①请求到达去缓存获取以licence加前缀为key的车机信息 ② 车机信息为空查询数据库，将查询结果缓存起来，设置过期时间③查询结果为空时，以licence加前缀为key，在缓存中存储空对象，设置过期时间。防止相同不合法licence频繁访问（缓存中没有时要查询数据库）数据库(穿透现象)，造成服务器压力。④请求到达时去缓存查询不为空时，设置licence对应key的过期时间

防止redis穿透，雪崩现象

Count count = RedisUtil.get(ApiConstant.PRE_LICENCE_KEY + "{" + requestParam.getLicence() + "}", Count.class);

if ( ApiUtil.isEmpty(count) ) {
    count = this.countDao.viewCountByLicence(requestParam.getLicence());
    RedisUtil.set(ApiConstant.PRE_LICENCE_KEY + "{" + requestParam.getLicence() + "}", JSON.toJSONString(count));
    RedisUtil.expire(ApiConstant.PRE_LICENCE_KEY + "{" + requestParam.getLicence() + "}", 2 * 24 * 60 * 60);
}
if ( ApiUtil.isEmpty(count) ) {
    //设置访问licence 空对象
    count.allProperties2Null();
    RedisUtil.set(ApiConstant.PRE_LICENCE_KEY + "{" + requestParam.getLicence() + "}", JSON.toJSONString(count));
    RedisUtil.expire(ApiConstant.PRE_LICENCE_KEY + "{" + requestParam.getLicence() + "}", 2 * 24 * 60 * 60);

    S6Base s6Base = new S6Base();
    s6Base.allProperties2Null();
    s6Base.setStatus(ApiConstant.ReturnCode.PERMISSION_DENIED.getCode());
    list.add(s6Base);
    return buildFinalJSON(JSON.toJSONString(list));
}
//用户与licence不对应
if ( !ApiUtil.isEmpty(count) && !ApiUtil.isEmpty(count.getUserId()) && !count.getUserId().equals(user.getId()) ) {
    //设置访问licence 空对象
    count.allProperties2Null();
    RedisUtil.set(ApiConstant.PRE_LICENCE_KEY + "{" + requestParam.getLicence() + "}", JSON.toJSONString(count));
    RedisUtil.expire(ApiConstant.PRE_LICENCE_KEY + "{" + requestParam.getLicence() + "}", 2 * 24 * 60 * 60);

    S6Base s6Base = new S6Base();
    s6Base.allProperties2Null();
    s6Base.setStatus(ApiConstant.ReturnCode.PERMISSION_DENIED.getCode());
    list.add(s6Base);
    return buildFinalJSON(JSON.toJSONString(list));
}

2、redis管道，批量操作数据

        map.put("{" + TqwConstant.RedisKeyPrefix.GRID_HOURLY + key + "}", sb.toString());

        //todo 以后删除，3*3 造出 1*1 的数据, 用中心点填充周围
        BigDecimal lonBigdecimal = new BigDecimal(hewlon);
        BigDecimal latBigdecimal = new BigDecimal(hewlat);
        BigDecimal lonIncr       = lonBigdecimal.add(new BigDecimal("0.01"));
        BigDecimal latIncr       = latBigdecimal.add(new BigDecimal("0.01"));
        BigDecimal lonDecr       = lonBigdecimal.subtract(new BigDecimal("0.01"));
        BigDecimal latDecr       = latBigdecimal.subtract(new BigDecimal("0.01"));

        map.put("{" + TqwConstant.RedisKeyPrefix.GRID_HOURLY + DataUtil.formatLonLatString(hewlon, latIncr.toString()) + "_" + (DataUtil.object2Int(hourArr[0]) >= 24 ? (DataUtil.object2Int(hourArr[0]) >= 48 ? 72 : 48) : "24") + "}", sb.toString());
        map.put("{" + TqwConstant.RedisKeyPrefix.GRID_HOURLY + DataUtil.formatLonLatString(hewlon, latDecr.toString()) + "_" + (DataUtil.object2Int(hourArr[0]) >= 24 ? (DataUtil.object2Int(hourArr[0]) >= 48 ? 72 : 48) : "24") + "}", sb.toString());
        map.put("{" + TqwConstant.RedisKeyPrefix.GRID_HOURLY + DataUtil.formatLonLatString(lonIncr.toString(), hewlat) + "_" + (DataUtil.object2Int(hourArr[0]) >= 24 ? (DataUtil.object2Int(hourArr[0]) >= 48 ? 72 : 48) : "24") + "}", sb.toString());
        map.put("{" + TqwConstant.RedisKeyPrefix.GRID_HOURLY + DataUtil.formatLonLatString(lonDecr.toString(), hewlat) + "_" + (DataUtil.object2Int(hourArr[0]) >= 24 ? (DataUtil.object2Int(hourArr[0]) >= 48 ? 72 : 48) : "24") + "}", sb.toString());
        map.put("{" + TqwConstant.RedisKeyPrefix.GRID_HOURLY + DataUtil.formatLonLatString(lonIncr.toString(), latIncr.toString()) + "_" + (DataUtil.object2Int(hourArr[0]) >= 24 ? (DataUtil.object2Int(hourArr[0]) >= 48 ? 72 : 48) : "24") + "}", sb.toString());
        map.put("{" + TqwConstant.RedisKeyPrefix.GRID_HOURLY + DataUtil.formatLonLatString(lonIncr.toString(), latDecr.toString()) + "_" + (DataUtil.object2Int(hourArr[0]) >= 24 ? (DataUtil.object2Int(hourArr[0]) >= 48 ? 72 : 48) : "24") + "}", sb.toString());
        map.put("{" + TqwConstant.RedisKeyPrefix.GRID_HOURLY + DataUtil.formatLonLatString(lonDecr.toString(), latIncr.toString()) + "_" + (DataUtil.object2Int(hourArr[0]) >= 24 ? (DataUtil.object2Int(hourArr[0]) >= 48 ? 72 : 48) : "24") + "}", sb.toString());
        map.put("{" + TqwConstant.RedisKeyPrefix.GRID_HOURLY + DataUtil.formatLonLatString(lonDecr.toString(), latDecr.toString()) + "_" + (DataUtil.object2Int(hourArr[0]) >= 24 ? (DataUtil.object2Int(hourArr[0]) >= 48 ? 72 : 48) : "24") + "}", sb.toString());

        //存储
        if ( map.size() >= DataUtil.object2Int(Constant.PROPERTIES.get("pipeline.count")) ) {
            //设置新值
            RedisUtil.setByPipeline(map);
            map.clear();
        }
    } catch ( Exception ignored ) {
        logger.error(" grid hourly line info error [ " + lines[1] + " ] ", ignored);
    }
}
//执行集合剩余数据
if ( map.size() > 0 ) {
    //设置新值
    RedisUtil.setByPipeline(map);
}

3、redis存储二进制文件数据

private void backFile2Redis() {
    long begin = System.currentTimeMillis();
    logger.info("back up grid-hourly file to redis start !");
    String[] array = readPointFromFile(TqwConstant.PointLonLat.GRID_HOURLY_POINTS);
    logger.info("grid-hourly array size is " + array.length);
    File zipFile = this.backFileGenerator.getGridHourlyFile(array);
    try {
        ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();
        FileUtils.copyFile(zipFile, byteArrayOutputStream);
        TqwRedisUtil.set("{" + TqwConstant.FileBytesKey.HOURLY_BYTES + "}", byteArrayOutputStream.toByteArray());
        IOUtils.closeQuietly(byteArrayOutputStream);
    } catch ( Exception e ) {
        logger.info("Grid-hourly zip写入缓存失败", e);
    } finally {
        try {
            zipFile.delete();
        } catch ( Exception ignored ) {}
    }
    logger.info("back up Grid-hourly file to redis end ! cost time " + (System.currentTimeMillis() - begin));
}

redisUtil中工具方法如下：

public static void set(String key, byte[] values) {
    if ( FLAG ) {
        Jedis jedis = null;
        try {
            jedis = getJedis();
            jedis.set(key.getBytes(), values);
        } catch ( Exception var7 ) {
            logger.error(" redis set error, key is [ " + key + " ]  ", var7);
        } finally {
            if ( jedis != null ) {
                jedis.close();
            }

        }
    }
}

4、redis执行lua脚本程序(原子操作)

需求：qpm校验，统计每分钟访问量

①准备evalsha(sha,keys[],argv[]) sha为scriptload(script)返回值 参数key[]数组用于替换lua中key值参数，argv[]存放普通参数

/**
 * qpm 每分钟访问次数
 */
public static final String  QPM_SCRIPT      = "local qpm = tonumber(redis.call('get', KEYS[1]));\n" + "if qpm == nil then\n" + "    redis.call('incr', KEYS[1]);\n" + "    redis.call('expire', KEYS[1], 90);\n" + "    return true;\n" + "elseif qpm < tonumber(ARGV[1]) then\n" + "    redis.call('incr', KEYS[1]);\n" + "    return true;\n" + "else \n" + "    redis.call('incr', KEYS[1]);\n" + "    return false; \n" + "end";
public static       String  QPM_SCRIPT_SHA1 = "958ed8594556dd2c343e8fbf9ac53401337b56a4";//通过scriptload方法获得
②evalsha()执行时必须先执行scriptload()加载脚本进缓存 

if ( !QPM_SCRIPT_EXISTS && !RedisUtil.scriptExists(ApiConstant.QPM_SCRIPT_SHA1) ) {
    ApiConstant.QPM_SCRIPT_SHA1 = RedisUtil.scriptLoad(ApiConstant.QPM_SCRIPT);
    QPM_SCRIPT_EXISTS = true;
}
if ( ApiConstant.ServiceNode.FREE.equalsIgnoreCase(Constant.PROPERTIES.get(ApiConstant.Properties.NODE_ID)) ) {
    Object value;
    if ( ApiUtil.containsRole(user.getAllRoleList(), ApiConstant.Role.DEVELOPER) ) {
        value = RedisUtil.evalsha(ApiConstant.QPM_SCRIPT_SHA1, "{" + user.getSsoId() + "}" + ApiUtil.getCurrentDateTime("yyyyMMddHHmm"), ApiConstant.QPM_DEVELOPER.toString());
    } else {
        value = RedisUtil.evalsha(ApiConstant.QPM_SCRIPT_SHA1, "{" + user.getSsoId() + "}" + ApiUtil.getCurrentDateTime("yyyyMMddHHmm"), ApiConstant.QPM_FREE.toString());
    }
    if ( value == null ) {
        return true;
    }
}

jirsngcng
关注
Redis 键值设计使用总结
congge_study的博客
08-28 4321
Redis 键值设计使用总结
Redis缓存常见问题总结
kkkllllss的博客
03-12 2234
Redis做缓存可以减轻数据库的压力, 其常见的三个缓存问题有： 缓存穿透 缓存击穿 缓存雪崩 一、缓存穿透(查询不到) 1、什么是缓存穿透？ 正常的查询流程是: 先查询Redis缓存数据库中是否有对应的key, 有的话就取出对应的value; 如果缓存中没有就去数据库(DB)中查询, DB中有的话, 就将DB中的value取出来放到缓存中, DB中没有的话就不往缓存中加入。   假设查询某个user对象, 但缓存和DB中全都没有, 这个时候中间的Redis缓存就不起作用了(因为查不到)。但是客户端还
Redis常见问题之缓存穿透、击穿、雪崩、预热、更新、降级及对应的解决方案
Colin_lqk的博客
09-09 703
Redis Redis是高性能的分布式内存数据库，对于内存数据库经常会出现下面几种情况，也经常会出现在Redis面试题中：缓存穿透、缓存击穿、缓存雪崩、缓存预热、缓存更新、缓存降级。本文分别介绍这些概念以及对应的解决方案。 缓存穿透 当查询Redis中没有的数据时，该查询会下沉到数据库层，同时数据库层也没有该数据，当这种情况大量出现或被恶意攻击时，接口的访问全部透过Redis访问数据库，而数据库中也没有这些数据，我们称这种现象为"缓存穿透"。缓存穿透会穿透Redis的保护，提升底层数据库的负载压力，同时这类
关于redis缓存总结
rushduckxzr的博客
02-11 1106
1.什么是redis缓存? Redis是一个key-value存储系统,通过redis分布式缓存能把绝大多数请求在读写数据库前拦截掉，大大降低数据库压力。 在docker环境下启动 2.redis的常用数据类型 Reids中基础数据结构包含: 字符串String、 散列:Hash类型:相当于Java中的HashMap，实现原理跟HashMap一致,一般用于存储对象信息，存储了字段（field）和字段值的映射， 列表:List类型:相当于java中的LinkedList，其原理就就是一个双向链表
Redis缓存知识总结
做最专业的总结 大师
04-26 430
一、Redis数据类型 https://www.cnblogs.com/dijia478/p/8058775.html Redis常用的五种数据类型：string（字符串），hash（哈希），list（列表），set（集合）及zset(sorted set：有序集合)。 Redis3种特殊（不常用）数据类型（BitMap、Geo和HyperLogLog ） 1.1 BitMap：是st...
Redis缓存问题总结
许诗宇的博客
02-06 1984
目录 缓存穿透 缓存空值 布隆过滤器拦截 缓存击穿 对特定key设置永不过期 使用互斥锁(mutex key) 缓存雪崩 缓存时间增加随机值 Redis节点宕机引起的雪崩 缓存与数据库双写一致问题 操作缓存 更新策略1-先更新数据库，后更新缓存 更新策略2-先删除缓存，在更新数据库 更新策略3-先更新数据库，再删除缓存 并发竞争key 缓存穿透 缓存穿透，...
redis缓存穿透、缓存雪崩、缓存击穿详解
weixiaohuai的博客
12-17 422
一、简介 其实，redis在实际项目中应用在缓存占了绝大多数场景，缓存能够有效降低访问数据库的压力，避免频繁请求数据库，一定程度上提高了系统的响应速度。一般比如临时性的文件、微信access_token等等都比较适合放在redis缓存中。 缓存工作流程图： 大体步骤： 【a】客户端发起一个请求； 【b】首先我们先去redis缓存中查询是否存在命中的数据，如果redis缓存中存在数据，...
【SpringBoot 技术专题】「Cache 缓存组件」Redis 缓存使用技巧及注解大全(1)
2401_84408291的博客
04-19 987
在这里，由于面试中MySQL问的比较多，因此也就在此以MySQL为例为大家总结分享。但是你要学习的往往不止这一点，还有一些主流框架的使用，Spring源码的学习，Mybatis源码的学习等等都是需要掌握的，我也把这些知识点都整理起来了《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）在这里，由于面试中MySQL问的比较多，因此也就在此以MySQL为例为大家总结分享。
【SpringBoot 技术专题】「Cache 缓存组件」Redis 缓存使用技巧及注解大全
最新发布
2401_84408337的博客
04-19 926
这份面试题几乎包含了他在一年内遇到的所有面试题以及答案，甚至包括面试中的细节对话以及语录，可谓是细节到极致，甚至简历优化和怎么投简历更容易得到面试机会也包括在内！也包括教你怎么去获得一些大厂，比如阿里，腾讯的内推名额！某位名人说过成功是靠99%的汗水和1%的机遇得到的，而你想获得那1%的机遇你首先就得付出99%的汗水！你只有朝着你的目标一步一步坚持不懈的走下去你才能有机会获得成功！成功只会留给那些有准备的人！《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》
如何防止Redis 缓存雪崩、缓存穿透、缓存击穿
qq118034951的博客
05-10 3228
缓存异常场景分类 在实际生产环境中有时会遇到缓存穿透、缓存击穿、缓存雪崩等异常场景，为了避免异常带来巨大损失，我们需要了解每种异常发生的原因以及解决方案，帮助提升系统可靠性和高可用。 缓存穿透 什么是缓存穿透？ 缓存穿透是指用户请求的数据在缓存中不存在即没有命中，同时在数据库中也不存在，导致用户每次请求该数据都要去数据库中查询一遍，然后返回空。 如果有恶意攻击者不断请求系统中不存在的数据，会导致短时间大量请求落在数据库上，造成数据库压力过大，甚至击垮数据库系统。 缓存穿透常用的解决方案 （1）布隆过滤器（.
redis命令请求的执行过程
01-06
一个命令请求从发送到获得回复的过程中，客户端和服务器需要完成一系列操作。举个例子，如果我们使用客户端执行以下命令： 那么从客户端发送SET KEY VALUE命令到获得回复OK期间，客户端和服务器共需要执行以下操作： 1）客户端向服务器发送命令请求SET KEY VALUE。 2）服务器接收并处理客户端发来的命令请求SET KEY VALUE，在数据库中进行设置操作，并产生命令回复OK。 3）服务器将命令回复OK发送给客户端。 4）客户端接收服务器返回的命令回复OK，并将这个回复打印给用户观看。  发送命令请求 Redis服务器的命令请求来自Redis客户端，当用户在客户端中键入一个命令请求
redis缓存篇知识点总结
秉持长期主义，保持长期生命力和竞争力
02-26 131
redis-缓存篇
redis做系统缓存
q568213372的博客
03-16 232
上配置先&lt;beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:p="http://www.springframework.org/schema/p" xmlns:tx=...
redis之命令请求执行过程
lucas1018的博客
04-04 515
一个命令请求从客户端发送到获得响应过程中，客户端和服务端要完成一系列操作。例如在客户端操作如下命令： redis> set key value 1 客户端向服务端发送命令请求 set key value； 服务器接收并处理该命令请求，在数据库中进行设置操作，并产生命令回复 1； 服务器将命令回复发送给客户端； 客户端接收服务器返回信息，并将信息打印给用户。 一、发送命令请求 当用户在客户端键入命令后，客户端会先对命令转换协议格式，然后通过连接到服务器的套接...
Redis接收到客户请求的处理过程
qq_18478183的博客
05-18 962
目录Redis处理客户端请求示意图第一步，与外部建立连接第二步，保存外部请求到队列中第三步，文件事件分派器第四步，文件事件处理器总结 Redis处理客户端请求示意图 以下两张图来自于网络 简单一点儿的处理模型 复杂一点儿的处理模型 第一步，与外部建立连接 采用IO多路复用的方式与外部请求建立连接，这里可以参考java的nio模型。 第二步，保存外部请求到队列中 这里的队列是一个有序并且同步的队列，队列烈面保存了外部的请求的套接字信息，这些套接字信息可以是连接请求，可以是写请求，可以是读请求的套接字信息。
redis——命令请求的执行过程
少说，多做。
10-11 3923
发送命令请求 当用户在客户端中键入一个命令请求时， 客户端会将这个命令请求转换成协议格式， 然后通过连接到服务器的套接字， 将协议格式的命令请求发送给服务器。 读取命令请求 当客户端与服务器之间的连接套接字因为客户端的写入而变得可读时， 服务器将调用命令请求处理器来执行以下操作： 读取套接字中协议格式的命令请求， 并将其保存到客户端状态的输入缓冲区里面。 对输入缓冲区中的命令请求进行分析...
缓存之Redis了解及使用
chuanyuan8669的博客
05-21 290
介绍 redis是一种支持Key-Value等多种数据结构的存储系统。可用于缓存，事件发布或订阅，高速队列等场景。该数据库使用ANSI C语言编写，支持网络，提供字符串，哈希，列表，队列，集合结构直接存取，基于内存，可持久化。 安装 由于开发机器一般都是windows...
Redis缓存雪崩问题
weixin_42223248的博客
02-18 486
一、什么是缓存雪崩 缓存穿透：key对应的数据在数据源并不存在，每次针对此key的请求从缓存获取不到，请求都会到数据源，从而可能压垮数据源。比如用一个不存在的用户id获取用户信息，不论缓存还是数据库都没有，若黑客利用此漏洞进行攻击可能压垮数据库。 缓存击穿：key对应的数据存在，但在redis中过期，此时若有大量并发请求过来，这些请求发现缓存过期一般都会从后端DB加载数据并回设到缓存，这个时候大并发的请求可能会瞬间把后端DB压垮。 缓存雪崩：当缓存服务器重启或者大量缓存集中在某一个时间段失效，这样在失
Redis学习笔记 - 服务器（1） - 命令请求的执行过程
mytt_10566的博客
08-19 574
参考：<<Redis设计与实现>> 注：这本书是基于Redis3.0版本写的，和后面的版本有点差异 Redis服务器负责与多个客户端建立网络连接，处理客户端发送的命令请求，在数据库中保存客户端执行命令所产生的数据，并通过资源管理来维持服务器自身的运转。 命令请求的执行过程 一个命令请求从发送到获得回复的过程中，客户端和服务器需要完成一系列操作。如客户端执行了以下命令...
Redis缓存优化与DDoS防护实战：李景经验分享
Redis实践与总结是由云信-李景分享的一篇针对一线开发人员的深入指南，主要关注于Redis在实际项目中的应用和解决方案...通过学习这些实践经验和案例，一线开发人员可以更好地应对Redis的挑战，提升系统的稳定性和效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值