采用多种方式实现项目的查询多级缓存(五)

最新推荐文章于 2024-08-27 15:29:50 发布
最新推荐文章于 2024-08-27 15:29:50 发布
阅读量306 收藏
点赞数
分类专栏： 知识点补充 文章标签： 缓存 redis java docker 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51495235/article/details/130026745
版权

4.5.Redis缓存预热

Redis缓存会面临冷启动问题：

冷启动：服务刚刚启动时，Redis中并没有缓存，如果所有商品数据都在第一次查询时添加缓存，可能会给数据库带来较大压力。

缓存预热：在实际开发中，我们可以利用大数据统计用户访问的热点数据，在项目启动时将这些热点数据提前查询并保存到Redis中。

我们数据量较少，并且没有数据统计相关功能，目前可以在启动时将所有数据都放入缓存中。

1）利用Docker安装Redis

docker run --name redis -p 6379:6379 -d redis redis-server --appendonly yes

2）在item-service服务中引入Redis依赖

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>

3）配置Redis地址

spring:
  redis:
    host: 192.168.150.101

4）编写初始化类

缓存预热需要在项目启动时完成，并且必须是拿到RedisTemplate之后。

这里我们利用InitializingBean接口来实现，因为InitializingBean可以在对象被Spring创建并且成员变量全部注入后执行。

package com.heima.item.config;

import com.fasterxml.jackson.core.JsonProcessingException;
import com.fasterxml.jackson.databind.ObjectMapper;
import com.heima.item.pojo.Item;
import com.heima.item.pojo.ItemStock;
import com.heima.item.service.IItemService;
import com.heima.item.service.IItemStockService;
import org.springframework.beans.factory.InitializingBean;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.stereotype.Component;

import java.util.List;

@Component
public class RedisHandler implements InitializingBean {

    @Autowired
    private StringRedisTemplate redisTemplate;

    @Autowired
    private IItemService itemService;
    @Autowired
    private IItemStockService stockService;

    private static final ObjectMapper MAPPER = new ObjectMapper();

    @Override
    public void afterPropertiesSet() throws Exception {
        // 初始化缓存
        // 1.查询商品信息
        List<Item> itemList = itemService.list();
        // 2.放入缓存
        for (Item item : itemList) {
            // 2.1.item序列化为JSON
            String json = MAPPER.writeValueAsString(item);
            // 2.2.存入redis
            redisTemplate.opsForValue().set("item:id:" + item.getId(), json);
        }

        // 3.查询商品库存信息
        List<ItemStock> stockList = stockService.list();
        // 4.放入缓存
        for (ItemStock stock : stockList) {
            // 2.1.item序列化为JSON
            String json = MAPPER.writeValueAsString(stock);
            // 2.2.存入redis
            redisTemplate.opsForValue().set("item:stock:id:" + stock.getId(), json);
        }
    }
}

4.6.查询Redis缓存

现在，Redis缓存已经准备就绪，我们可以再OpenResty中实现查询Redis的逻辑了。如下图红框所示：

在这里插入图片描述

当请求进入OpenResty之后：

  • 优先查询Redis缓存
  • 如果Redis缓存未命中，再查询Tomcat

4.6.1.封装Redis工具

OpenResty提供了操作Redis的模块，我们只要引入该模块就能直接使用。但是为了方便，我们将Redis操作封装到之前的common.lua工具库中。

修改/usr/local/openresty/lualib/common.lua文件：

1）引入Redis模块，并初始化Redis对象

-- 导入redis
local redis = require('resty.redis')
-- 初始化redis
local red = redis:new()
red:set_timeouts(1000, 1000, 1000)

2）封装函数，用来释放Redis连接，其实是放入连接池

-- 关闭redis连接的工具方法，其实是放入连接池
local function close_redis(red)
    local pool_max_idle_time = 10000 -- 连接的空闲时间，单位是毫秒
    local pool_size = 100 --连接池大小
    local ok, err = red:set_keepalive(pool_max_idle_time, pool_size)
    if not ok then
        ngx.log(ngx.ERR, "放入redis连接池失败: ", err)
    end
end

3）封装函数，根据key查询Redis数据

-- 查询redis的方法 ip和port是redis地址，key是查询的key
local function read_redis(ip, port, key)
    -- 获取一个连接
    local ok, err = red:connect(ip, port)
    if not ok then
        ngx.log(ngx.ERR, "连接redis失败 : ", err)
        return nil
    end
    -- 查询redis
    local resp, err = red:get(key)
    -- 查询失败处理
    if not resp then
        ngx.log(ngx.ERR, "查询Redis失败: ", err, ", key = " , key)
    end
    --得到的数据为空处理
    if resp == ngx.null then
        resp = nil
        ngx.log(ngx.ERR, "查询Redis数据为空, key = ", key)
    end
    close_redis(red)
    return resp
end

4）导出

-- 将方法导出
local _M = {  
    read_http = read_http,
    read_redis = read_redis
}  
return _M

完整的common.lua：

-- 导入redis
local redis = require('resty.redis')
-- 初始化redis
local red = redis:new()
red:set_timeouts(1000, 1000, 1000)

-- 关闭redis连接的工具方法，其实是放入连接池
local function close_redis(red)
    local pool_max_idle_time = 10000 -- 连接的空闲时间，单位是毫秒
    local pool_size = 100 --连接池大小
    local ok, err = red:set_keepalive(pool_max_idle_time, pool_size)
    if not ok then
        ngx.log(ngx.ERR, "放入redis连接池失败: ", err)
    end
end

-- 查询redis的方法 ip和port是redis地址，key是查询的key
local function read_redis(ip, port, key)
    -- 获取一个连接
    local ok, err = red:connect(ip, port)
    if not ok then
        ngx.log(ngx.ERR, "连接redis失败 : ", err)
        return nil
    end
    -- 查询redis
    local resp, err = red:get(key)
    -- 查询失败处理
    if not resp then
        ngx.log(ngx.ERR, "查询Redis失败: ", err, ", key = " , key)
    end
    --得到的数据为空处理
    if resp == ngx.null then
        resp = nil
        ngx.log(ngx.ERR, "查询Redis数据为空, key = ", key)
    end
    close_redis(red)
    return resp
end

-- 封装函数，发送http请求，并解析响应
local function read_http(path, params)
    local resp = ngx.location.capture(path,{
        method = ngx.HTTP_GET,
        args = params,
    })
    if not resp then
        -- 记录错误信息，返回404
        ngx.log(ngx.ERR, "http查询失败, path: ", path , ", args: ", args)
        ngx.exit(404)
    end
    return resp.body
end
-- 将方法导出
local _M = {  
    read_http = read_http,
    read_redis = read_redis
}  
return _M

4.6.2.实现Redis查询

接下来，我们就可以去修改item.lua文件，实现对Redis的查询了。

查询逻辑是：

  • 根据id查询Redis
  • 如果查询失败则继续查询Tomcat
  • 将查询结果返回

1）修改/usr/local/openresty/lua/item.lua文件，添加一个查询函数：

-- 导入common函数库
local common = require('common')
local read_http = common.read_http
local read_redis = common.read_redis
-- 封装查询函数
function read_data(key, path, params)
    -- 查询本地缓存
    local val = read_redis("127.0.0.1", 6379, key)
    -- 判断查询结果
    if not val then
        ngx.log(ngx.ERR, "redis查询失败，尝试查询http， key: ", key)
        -- redis查询失败，去查询http
        val = read_http(path, params)
    end
    -- 返回数据
    return val
end

2）而后修改商品查询、库存查询的业务：

在这里插入图片描述

3）完整的item.lua代码：

-- 导入common函数库
local common = require('common')
local read_http = common.read_http
local read_redis = common.read_redis
-- 导入cjson库
local cjson = require('cjson')

-- 封装查询函数
function read_data(key, path, params)
    -- 查询本地缓存
    local val = read_redis("127.0.0.1", 6379, key)
    -- 判断查询结果
    if not val then
        ngx.log(ngx.ERR, "redis查询失败，尝试查询http， key: ", key)
        -- redis查询失败，去查询http
        val = read_http(path, params)
    end
    -- 返回数据
    return val
end

-- 获取路径参数
local id = ngx.var[1]

-- 查询商品信息
local itemJSON = read_data("item:id:" .. id,  "/item/" .. id, nil)
-- 查询库存信息
local stockJSON = read_data("item:stock:id:" .. id, "/item/stock/" .. id, nil)

-- JSON转化为lua的table
local item = cjson.decode(itemJSON)
local stock = cjson.decode(stockJSON)
-- 组合数据
item.stock = stock.stock
item.sold = stock.sold

-- 把item序列化为json 返回结果
ngx.say(cjson.encode(item))
康小庄
关注
专栏目录
Java缓存面试题——Redis应用
二蛋的博客
02-23 1万+
1、为什么要使用Redis做缓存？2、为什么Redis单线程模型效率也能那么高？3、Redis6.0为什么要引入多线程呢？4、Redis常见数据结构以及使用场景字符串（String）哈希(Hash)列表（list）集合（set）有序集合（ZSET）5、pipeline有什么好处，为什么要用pipeline？6、Redis官方为什么不提供Windows版本？7、Redis持久化方式有哪些？以及有什么区别？RDBAOF8、什么是Redis事务？原理是什么？9、如何在100个亿URL中快速判断某URL是否存在？传
【字节跳动面试100题精讲】实现一个 LRU（最近最少使用）缓存
最新发布
AI天才研究院
09-23 599
LRU（Least Recently Used）缓存是一种常用的缓存淘汰算法，它的核心思想是"最近使用的数据在未来被使用的可能性更大"。在计算机系统中，缓存是一种重要的性能优化技术，而LRU算法则是众多缓存淘汰策略中的一种。当缓存满时，优先淘汰最久未使用的数据。每次访问数据时，将该数据移到缓存队列的头部。需要在O(1)时间复杂度内完成插入、查找和删除操作。理解LRU缓存的背景和特点，有助于我们更好地设计和实现这一算法。
Mybatis复杂查询动态sql及缓存详解
Vae的黑粉
10-23 640
文章目录一、多对一二、一对多 一、多对一 实体类： import lombok.Data; @Data public class Student { private int id; private String name; private Teacher teacher; } import lombok.Data; @Data public class Teacher { private int id; private String name; } S
封装redis缓存，并实现，精准查询及分页查询
u010465515的专栏
03-29 1540
​使用方式及代码 //查询某条记录表名ts =表名Cache.getValue(表名Cache.getEndkey(),datatype + "_" + number); //清除缓存 表名Cache.delete(null,表名Cache.cacheName(ts)); //分页查询 List<Object> list = null; if("desc".e...
利用缓存复用复杂查询结果，提升性能
iteye_4109的博客
08-03 354
问题：用户筛选模块，查询性能比较慢？分析： （A）他第一次查询的时候 我只是记录了数量 并没有将会员信息存储（B）然后点击参加活动的时候 我又用刚刚的条件去查询了一遍（C）然后再将会员信息 与 活动建立关联关系 并且发送到老系统  解决方案（A）： （1）查询数量的方法，修改成查询数据（查询出符合条件的用户数据），返回结果集大小 （2）使用UUID作为key，将刚刚查询的结果存储到缓存中...
MyBatis：使用 MyBatis 实现多表查询（多对一和一对多）、动态 SQL、缓存
taiyang3285的博客
05-04 3609
详细介绍了使用 MyBatis 实现多表查询（多对一和一对多）、动态 SQL 以及缓存的相关内容
SSM之Mybatis（三）复杂查询、缓存
weixin_44044929的博客
08-11 309
关联查询 实际项目中，经常用到关联表的查询，比如一对一，一对多等情况。在Java实体对象中，一对一和一对多可是使用包装对象解决，属性使用List或者Set来实现，在mybatis中一对一和一对多可是使用association或者collection标签来配合实现。 在MyBatis中有两种方式实现关联查询： 嵌套结果:使用嵌套结果映射来处理重复的联合结果的子集。首先,然让我们来查看这个元素的属性。所有的你都会看到,它和普通的只由 select 和resultMap 属性的结果映射不同 嵌套查询:通过执行另
第六讲-缓存接入之多级缓存实现及分布式部署落地实践.pdf
04-25
在代码示例中，我们看到一个典型的多级缓存访问流程：首先尝试从JVM堆缓存中获取数据，若未命中，则查询分布式缓存，最后再回溯到数据库。这种设计既利用了本地缓存的高速访问，也利用了分布式缓存的大容量存储，...
多级缓存.pdf
06-10
在多级缓存架构中，Nginx不仅仅是反向代理服务器的角色，还需要承担更多的业务逻辑，包括本地缓存查询、Redis查询等。为此，开发者通常会采用OpenResty框架结合Lua语言进行开发。这种方式可以让Nginx成为一个功能...
十一、多级缓存——多级缓存实战详解
流楚丶格念的博客
08-27 952
多级缓存是在系统的不同层级进行数据缓存的一种策略，旨在提高数据访问效率。接入 Nginx将请求负载均衡到应用 Nginx。常见的负载均衡算法有轮询和一致性哈希。轮询可均衡负载，一致性哈希则能提升缓存命中率。应用 Nginx 本地缓存读取本地缓存（可以是 Lua Shared Dict、Nginx Proxy Cache 等）。如果命中，则直接返回缓存数据。这种缓存可以提升吞吐量，降低后端压力，特别是应对热点数据时非常有效。分布式缓存如果本地缓存未命中，则查询分布式缓存（如 Redis）。
缓存工作模型以及使用Redis为查询接口添加缓存
懒羊羊的博客
01-09 1247
缓存就是数据交换的缓冲区，是存储数据的临时地方，一般读写性能较高。在以前CPU需要将内存或磁盘中读到数据放寄存器才可以做运算，正是因此计算机运算的能力受到限制。为了解决，人们在CPU中设计了缓存，将一些经常需要读写的数据放入缓存中，这样在进行高速运算时就不需要频繁的进行磁盘或者内存的I/O。所以，衡量CPU好坏的一项重要指标——缓存的大小在浏览器中也不例外，也会将经常浏览的信息添加到缓存里。
缓存简单实现
weixin_39651041的博客
03-28 663
在项目中，在一个接口中，会有很多次重复的查库操作，很是影响性能。这个时候可以自实现缓存来降低查库操作，提升性能。
项目--查询优化之多级缓存
qq_17721239的博客
07-25 219
nginx proxy cache 缓存 nginx 反向代理前置 依靠文件系统存索引级的文件 nginx讲一个请求当做一个文件存储在本地，当下一个请求来时，看本地有没有一个文件，来决定proxycache是否启用 依靠内存缓存文件地址 缓存的内容是以文件存在磁盘中。但是缓存的key是存储在内存中，其值是文件在磁盘上的地址。 nginx.conf #申明一个cache缓存节点的内容 proxy_cache_path /uar/local/openresty/...
Redis之sql缓存
qq_43654581的博客
12-03 2969
Redis之sql缓存
Springboot整合SpringCache,实现对多条件查询列表进行缓存
m0_46539364的博客
08-11 1972
整合SpringCache实现对多条件查询列表进行缓存
MySQL性能优化的最佳20条经验
2301_76571514的博客
11-05 582
如果你把你的表锁上一段时间，比如30秒钟，那么对于一个有很高访问量的站点来说，这30秒所积累的访问进程/线程，数据库链接，打开的文件数，可能不仅仅会让你的WEB服务Crash，还可能会让你的整台服务器马上挂了。当然，你也需要留够足够的扩展空间，不然，你日后来干这个事，你会死的很难看，参看Slashdot的例子(2009年11月06日)，一个简单的ALTER TABLE语句花了3个多小时，因为里面有一千六百万条数据。只有表中有实际的数据，这些建议才会变得有用，因为要做一些大的决定是需要有数据作为基础的。
老司机使用 Redis 缓存复杂查询
u011277123的博客
03-14 4016
2017-03-13 baya(jgm)-GitHub ITPUB 点击上方“蓝字”可以关注我们哦 |转载自：baya.github.io |原文链接：https://baya.github.io/ 最近上线了一个复杂的报表, 这个报表后面是一个几百行的 sql 查询，很不幸但又是预料之中, 这个 sql 查询性能非常低下，并且需要在网站的一个访问量
MySQL高级特性四：查询缓存
热门推荐
yongqi_wang的博客
02-02 1万+
很多数据库产品都能够缓存查询的执行计划，对于相同类型的SQL就可以跳过SQL解析和执行计划生成截断。MySQL在某些场景下也可以实现，但是MySQL还有另一种不同的缓存类型：缓存完整的select查询结果，也就是查询缓存。 MySQL查询缓存保存查询返回的完整结果。当查询命中该缓存，MySQL会like返回结果，跳过了解析、优化和执行截断。 查询缓存系统会跟踪查询中涉及的每个表，如果这些表发生...
Android图片异步加载与三级缓存实现详解
为了优化用户体验并减少网络请求的负担，开发者通常会采用图片异步请求的方式，并结合多级缓存策略。本文将深入探讨如何在Android中实现图片的异步请求以及三级缓存机制。 首先，让我们了解什么是异步请求。在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值