多级缓存1

已于 2022-10-06 21:59:01 修改
阅读量820 收藏
点赞数 1
分类专栏： 微服务 文章标签： 缓存 mysql 数据库
于 2022-09-12 13:57:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_57907966/article/details/126816561
版权

多级缓存

案例导入说明

为了演示多级缓存，我们先导入一个商品管理的案例，其中包含商品的CRUD功能。我们将来会给查询商品添加多级缓存。

1.安装MySQL

后期做数据同步需要用到MySQL的主从功能，所以需要在虚拟机中，利用Docker来运行一个MySQL容器。

1.1.准备目录

为了方便后期配置MySQL，我们先准备两个目录，用于挂载容器的数据和配置文件目录：

# 进入/tmp目录
cd /tmp
# 创建文件夹
mkdir mysql
# 进入mysql目录
cd mysql

1.2.运行命令

进入mysql目录后，执行下面的Docker命令：

docker run \
 -p 3306:3306 \
 --name mysql \
 -v $PWD/conf:/etc/mysql/conf.d \
 -v $PWD/logs:/logs \
 -v $PWD/data:/var/lib/mysql \
 -e MYSQL_ROOT_PASSWORD=20020630 \
 --privileged \
 -d \
 mysql:5.7.25

1.3.修改配置

在/tmp/mysql/conf目录添加一个my.cnf文件，作为mysql的配置文件：

# 创建文件
touch /tmp/mysql/conf/my.cnf

文件的内容如下：

[mysqld]
skip-name-resolve
character_set_server=utf8
datadir=/var/lib/mysql
server-id=1000

1.4.重启

配置修改后，必须重启容器：

docker restart mysql

2.导入SQL

/*
 Navicat Premium Data Transfer

 Source Server         : 192.168.150.101
 Source Server Type    : MySQL
 Source Server Version : 50725
 Source Host           : 192.168.150.101:3306
 Source Schema         : heima

 Target Server Type    : MySQL
 Target Server Version : 50725
 File Encoding         : 65001

 Date: 16/08/2021 14:45:07
*/

SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;

-- ----------------------------

-- Table structure for tb_item

-- ----------------------------

DROP TABLE IF EXISTS `tb_item`;
CREATE TABLE `tb_item`  (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '商品id',
  `title` varchar(264) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL COMMENT '商品标题',
  `name` varchar(128) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL DEFAULT '' COMMENT '商品名称',
  `price` bigint(20) NOT NULL COMMENT '价格（分）',
  `image` varchar(200) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '商品图片',
  `category` varchar(200) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '类目名称',
  `brand` varchar(100) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '品牌名称',
  `spec` varchar(200) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '规格',
  `status` int(1) NULL DEFAULT 1 COMMENT '商品状态 1-正常，2-下架，3-删除',
  `create_time` datetime NULL DEFAULT NULL COMMENT '创建时间',
  `update_time` datetime NULL DEFAULT NULL COMMENT '更新时间',
  PRIMARY KEY (`id`) USING BTREE,
  INDEX `status`(`status`) USING BTREE,
  INDEX `updated`(`update_time`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 50002 CHARACTER SET = utf8 COLLATE = utf8_general_ci COMMENT = '商品表' ROW_FORMAT = COMPACT;

-- ----------------------------

-- Records of tb_item

-- ----------------------------

INSERT INTO `tb_item` VALUES (10001, 'RIMOWA 21寸托运箱拉杆箱 SALSA AIR系列果绿色 820.70.36.4', 'SALSA AIR', 16900, 'https://m.360buyimg.com/mobilecms/s720x720_jfs/t6934/364/1195375010/84676/e9f2c55f/597ece38N0ddcbc77.jpg!q70.jpg.webp', '拉杆箱', 'RIMOWA', '{\"颜色\": \"红色\", \"尺码\": \"26寸\"}', 1, '2019-05-01 00:00:00', '2019-05-01 00:00:00');
INSERT INTO `tb_item` VALUES (10002, '安佳脱脂牛奶 新西兰进口轻欣脱脂250ml*24整箱装*2', '脱脂牛奶', 68600, 'https://m.360buyimg.com/mobilecms/s720x720_jfs/t25552/261/1180671662/383855/33da8faa/5b8cf792Neda8550c.jpg!q70.jpg.webp', '牛奶', '安佳', '{\"数量\": 24}', 1, '2019-05-01 00:00:00', '2019-05-01 00:00:00');
INSERT INTO `tb_item` VALUES (10003, '唐狮新品牛仔裤女学生韩版宽松裤子 A款/中牛仔蓝（无绒款） 26', '韩版牛仔裤', 84600, 'https://m.360buyimg.com/mobilecms/s720x720_jfs/t26989/116/124520860/644643/173643ea/5b860864N6bfd95db.jpg!q70.jpg.webp', '牛仔裤', '唐狮', '{\"颜色\": \"蓝色\", \"尺码\": \"26\"}', 1, '2019-05-01 00:00:00', '2019-05-01 00:00:00');
INSERT INTO `tb_item` VALUES (10004, '森马(senma)休闲鞋女2019春季新款韩版系带板鞋学生百搭平底女鞋 黄色 36', '休闲板鞋', 10400, 'https://m.360buyimg.com/mobilecms/s720x720_jfs/t1/29976/8/2947/65074/5c22dad6Ef54f0505/0b5fe8c5d9bf6c47.jpg!q70.jpg.webp', '休闲鞋', '森马', '{\"颜色\": \"白色\", \"尺码\": \"36\"}', 1, '2019-05-01 00:00:00', '2019-05-01 00:00:00');
INSERT INTO `tb_item` VALUES (10005, '花王（Merries）拉拉裤 M58片 中号尿不湿（6-11kg）（日本原装进口）', '拉拉裤', 38900, 'https://m.360buyimg.com/mobilecms/s720x720_jfs/t24370/119/1282321183/267273/b4be9a80/5b595759N7d92f931.jpg!q70.jpg.webp', '拉拉裤', '花王', '{\"型号\": \"XL\"}', 1, '2019-05-01 00:00:00', '2019-05-01 00:00:00');

-- ----------------------------

-- Table structure for tb_item_stock

-- ----------------------------

DROP TABLE IF EXISTS `tb_item_stock`;
CREATE TABLE `tb_item_stock`  (
  `item_id` bigint(20) NOT NULL COMMENT '商品id，关联tb_item表',
  `stock` int(10) NOT NULL DEFAULT 9999 COMMENT '商品库存',
  `sold` int(10) NOT NULL DEFAULT 0 COMMENT '商品销量',
  PRIMARY KEY (`item_id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = COMPACT;

-- ----------------------------

-- Records of tb_item_stock

-- ----------------------------

INSERT INTO `tb_item_stock` VALUES (10001, 99996, 3219);
INSERT INTO `tb_item_stock` VALUES (10002, 99999, 54981);
INSERT INTO `tb_item_stock` VALUES (10003, 99999, 189);
INSERT INTO `tb_item_stock` VALUES (10004, 99999, 974);
INSERT INTO `tb_item_stock` VALUES (10005, 99999, 18649);

SET FOREIGN_KEY_CHECKS = 1;

其中包含两张表：

  • tb_item：商品表，包含商品的基本信息
  • tb_item_stock：商品库存表，包含商品的库存信息

之所以将库存分离出来，是因为库存是更新比较频繁的信息，写操作较多。而其他信息修改的频率非常低。

3.导入Demo工程

项目结构如图所示：

在这里插入图片描述

其中的业务包括：

  • 分页查询商品
  • 新增商品
  • 修改商品
  • 修改库存
  • 删除商品
  • 根据id查询商品
  • 根据id查询库存

业务全部使用mybatis-plus来实现，如有需要请自行修改业务逻辑。

3.1.分页查询商品

在com.heima.item.web包的ItemController中可以看到接口定义：
在这里插入图片描述

3.2.新增商品

在com.heima.item.web包的ItemController中可以看到接口定义：

在这里插入图片描述

3.3.修改商品

在com.heima.item.web包的ItemController中可以看到接口定义：
在这里插入图片描述

3.4.修改库存

在com.heima.item.web包的ItemController中可以看到接口定义：

在这里插入图片描述

3.5.删除商品

在com.heima.item.web包的ItemController中可以看到接口定义：

在这里插入图片描述

这里是采用了逻辑删除，将商品状态修改为3

3.6.根据id查询商品

在com.heima.item.web包的ItemController中可以看到接口定义：

在这里插入图片描述

这里只返回了商品信息，不包含库存

3.7.根据id查询库存

在com.heima.item.web包的ItemController中可以看到接口定义：

在这里插入图片描述

3.8.启动

注意修改application.yml文件中配置的mysql地址信息：

在这里插入图片描述

需要修改为自己的虚拟机地址信息、还有账号和密码。

修改后，启动服务，访问：http://localhost:8081/item/10001即可查询数据

4.导入商品查询页面

商品查询是购物页面，与商品管理的页面是分离的。

部署方式如图：
在这里插入图片描述

我们需要准备一个反向代理的nginx服务器，如上图红框所示，将静态的商品页面放到nginx目录中。

页面需要的数据通过ajax向服务端（nginx业务集群）查询。

4.1.运行nginx服务

运行这个nginx1.18.0服务。

运行命令：

start nginx.exe

然后访问 http://localhost/item.html?id=10001即可：

在这里插入图片描述

4.2.反向代理

现在，页面是假数据展示的。我们需要向服务器发送ajax请求，查询商品数据。

打开控制台，可以看到页面有发起ajax查询数据：
在这里插入图片描述

而这个请求地址同样是80端口，所以被当前的nginx反向代理了。

查看nginx的conf目录下的nginx.conf文件：

在这里插入图片描述

其中的关键配置如下：

在这里插入图片描述

其中的192.168.150.101是我的虚拟机IP，也就是我的Nginx业务集群要部署的地方：

在这里插入图片描述

完整内容如下：

#user  nobody;
worker_processes  1;

events {
    worker_connections  1024;
}

http {
    include       mime.types;
    default_type  application/octet-stream;

    sendfile        on;
    #tcp_nopush     on;
    keepalive_timeout  65;

    upstream nginx-cluster{
        server 192.168.150.101:8081;
    }
    server {
        listen       80;
        server_name  localhost;

	location /api {
            proxy_pass http://nginx-cluster;
        }

        location / {
            root   html;
            index  index.html index.htm;
        }

        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
}

本地进程缓存

Caffeine是一个基于Java8开发的，提供了近乎最佳命中率的高性能的本地缓存库。目前Spring内部的缓存使用的就是Caffeine。GitHub地址：https://github.com/ben-manes/caffeine

1、导入依赖

<dependency>
    <groupId>com.github.ben-manes.caffeine</groupId>
    <artifactId>caffeine</artifactId>
</dependency>

2、

/*
  基本用法测试
 */
@Test
void testBasicOps() {
    // 创建缓存对象
    Cache<String, String> cache = Caffeine.newBuilder().build();

    // 存数据
    cache.put("gf", "迪丽热巴");

    // 取数据，不存在则返回null
    String gf = cache.getIfPresent("gf");
    System.out.println("gf = " + gf);

    // 取数据，不存在则去数据库查询
    String defaultGF = cache.get("defaultGF", key -> {
        // 这里可以去数据库根据 key查询value
        return "柳岩";
    });
    System.out.println("defaultGF = " + defaultGF);
}

/*
 基于大小设置驱逐策略：
 */
@Test
void testEvictByNum() throws InterruptedException {
    // 创建缓存对象
    Cache<String, String> cache = Caffeine.newBuilder()
            // 设置缓存大小上限为 1
            .maximumSize(1)
            .build();
    // 存数据
    cache.put("gf1", "柳岩");
    cache.put("gf2", "范冰冰");
    cache.put("gf3", "迪丽热巴");
    // 延迟10ms，给清理线程一点时间
    Thread.sleep(10L);
    // 获取数据
    System.out.println("gf1: " + cache.getIfPresent("gf1"));
    System.out.println("gf2: " + cache.getIfPresent("gf2"));
    System.out.println("gf3: " + cache.getIfPresent("gf3"));
}

    /*
     基于时间设置驱逐策略：
     */
    @Test
    void testEvictByTime() throws InterruptedException {
        // 创建缓存对象
        , String> cache = Caffeine.newBuilder()
                .expireAfterWrite(Duration.ofSeconds(1)) // 设置缓存有效期为 1秒
                .build();
        // 存数据
        cache.put("gf", "柳岩");
        // 获取数据
        System.out.println("gf: " + cache.getIfPresent("gf"));
        // 休眠一会儿
        Thread.sleep(1200L);
        System.out.println("gf: " + cache.getIfPresent("gf"));
    }
}

实现商品的查询本地进程缓存

利用Caffeine实现下列需求：

  • 给根据id查询商品的业务添加缓存，缓存未命中时查询数据库
  • 给根据id查询商品库存的业务添加缓存，缓存未命中时查询数据库
  • 缓存初始大小为100
  • 缓存上限为10000

1.将缓存设置为bean添加到容器中

@Configuration
public class CaffeineConfig {
    @Bean
    public Cache<Long, Item> itemCache(){
        return Caffeine.newBuilder()
                .initialCapacity(100) //缓存初始大小为100
                .maximumSize(10000).build();//缓存上限为10000
    }  
    @Bean
    public Cache<Long, ItemStock> itemStockCache(){
        return Caffeine.newBuilder()
                .initialCapacity(100) //缓存初始大小为100
                .maximumSize(10000).build();//缓存上限为10000
    }
    
}

2、在ItemControler中

@Autowired
private Cache<Long,Item> itemCache;
@Autowired
private Cache<Long,ItemStock> itemStockCache;

@GetMapping("/{id}")
public Item findById(@PathVariable("id") Long id){
    //先根据id查缓存，如果未命中在查询数据库
    return  itemCache.get(id,key->itemService.query()
            .ne("status", 3).eq("id", key)
            .one());
   
}
白小筠
关注
专栏目录
Java教程之多级缓存
CZ-001的博客
10-18 499
提到缓存，想必每一位软件工程师都不陌生，它是目前架构设计中提高性能最直接的方式。缓存技术存在于应用场景的方方面面。从网站提高性能的角度分析，缓存可以放在浏览器，可以放在反向代理服务器，还可以放在应用程序进程内，同时可以放在分布式缓存系统中。从用户请求数据到数据返回，数据经过了浏览器，CDN，Nginx代理缓存，应用服务器，以及数据库各个环节。每个环节都可以运用缓存技术。缓存的请求顺序是：用户请求 → HTTP 缓存 → CDN 缓存 → Nginx代理缓存 → 进程内缓存 → 分布式缓存。
SpringCloud基础8——多级缓存
vincewm的博客
09-19 1846
JVM进程缓存、Lua语法、OpenResty、Nginx本地缓存、缓存同步、Canal
Redis13-多级缓存
m0_73902080的博客
08-12 1405
传统的缓存策略一般是请求到达Tomcat后，先查询Redis，如果未命中则查询数据库，存在下面的问题：多级缓存就是充分利用请求处理的每个环节，分别添加缓存，减轻Tomcat压力，提升服务性能：用作缓存的Nginx是业务Nginx， 需要部署为集群，再有专门的Nginx用来做反向代理，Tomcat也要部署为集群模式：多级缓存的关键有两个：缓存在日常开发中启动至关重要的作用，由于是存储在内存中，数据的读取速度是非常快的，能大量减少对数据库的访问，减少数据库的压力缓存分为两类：分布式缓存，例如Redis：优点：存
什么是多级缓存
Leon_Jinhai_Sun的博客
11-21 5879
传统的缓存策略一般是请求到达Tomcat后，先查询Redis，如果未命中则查询数据库，如图： 存在下面的问题： •请求要经过Tomcat处理，Tomcat的性能成为整个系统的瓶颈 •Redis缓存失效时，会对数据库产生冲击 多级缓存就是充分利用请求处理的每个环节，分别添加缓存，减轻Tomcat压力，提升服务性能： 浏览器访问静态资源时，优先读取浏览器本地缓存 访问非静态资源（ajax查询数据）时，访问服务端 请求到达Nginx后，优先读取Nginx本地缓存
分布式缓存之多级缓存
lbw18的博客
11-06 1221
传统的缓存策略一般是请求到达Tomcat后，先查询Redis，如果未命中则查询数据库，如图：存在下面的问题：•请求要经过Tomcat处理，Tomcat的性能成为整个系统的瓶颈•Redis缓存失效时，会对数据库产生冲击浏览器访问静态资源时，优先读取浏览器本地缓存访问非静态资源（ajax查询数据）时，访问服务端请求到达Nginx后，优先读取Nginx本地缓存如果Nginx本地缓存未命中，则去直接查询Redis（不经过Tomcat）如果Redis查询未命中，则查询Tomcat。
多级缓存建设方案
BigBug_500的博客
04-29 1638
xx系统中对容量和耗时有较高要求，以支付优惠立减为例，每个用户咨询可用立减时，都会过一遍全量生效活动。目前日常活动数3000+，目标2w+；日常秒级咨询量1w+，大促22w+。所以如何支撑日常和大促的业务非常具有挑战性。对此我们做了很多优化，其中缓存是整个优化的基石。本次缓存设计参考自yy系统，其代码经过了长时间的验证，所以我们希望输出一套缓存标准化方法，尽量满足当前已有业务场景，经过验证后能推广至其他系统，帮助大家夯实缓存系统，为业务发展保驾护航。
3.多级缓存
sichenss的博客
04-30 3702
本篇基于B站黑马程序员 虎翼老师的 Redis入门到实战教程，全面透析redis底层原理+redis分布式锁+企业解决方案+redis实战 , 便于复习所用
多级缓存架构最佳实践
梵高
05-30 2807
缓存架构的最佳实践
多级缓存使用
u012222011的博客
04-22 421
1.浏览器图片缓存 2.CDN缓存：如果js修改了，就回源操作 CDN缓存的2个关键参数：类似食品的过期时间和保质时间 Expires:某个时间点缓存到期 Cache-controller:缓存的有效期时间 3.Nginx缓存 4.本地缓存：mybatis一级二级缓存，jvm Ehcache缓存，springmvc页面缓存，redis缓存 5.缓存设计规则：缓存先近后远进行设计的原则 ...
redis多级缓存搭建资料
05-31
在大型系统中，构建多级缓存架构是常见的优化策略，它能够更有效地利用资源，减少对主数据库的压力。本资料将详细介绍如何使用Redis搭建多级缓存。 一、缓存基础知识 缓存是一种存储技术，用于临时存储经常访问的...
巧妙设计多级缓存，为数据库减负
02-25
比如《计算机组成原理》这样提到的CPU缓存概念:它是一种高速缓存，容量比内存小但是速度却快很多，这种缓存的出现主要是为了解决CPU运算速度远大于内存读写速度，甚至达到千万倍的问题。传统的CPU通过fsb直连内存的...
高性能系统架构设计之：多级缓存
Java Punk
08-11 3385
大流量下的多级缓存设计，大致有五大策略：HTTP 缓存，CDN 缓存，Ngginx负载均衡缓存，Cache进程内缓存，Redis分布式缓存。
京东java多级缓存_京东技术：多级缓存设计详解 | 给数据库减负
weixin_39517400的博客
02-26 441
来这里找志同道合的小伙伴！作 者 简 介王梓晨自古兵家多谋，《谋攻篇》，“故上兵伐谋，其次伐交，其次伐兵，其下攻城。攻城之法，为不得已”，可见攻城之计有很多种，而爬墙攻城是最不明智的做法，军队疲惫受损、钱粮损耗、百姓遭殃。故而我们有很多迂回之策，谋略、外交、军事手段等等，每一种都比攻城的代价小，更轻量级，缓存设计亦是如此。>>>>为什么要设计缓存呢？其实高并发应对的解决方案...
缓存、注解、分页
shuai_ge_yang的博客
11-04 337
PageHelper 是 MyBatis 中比较著名的分页插件，它提供了多种分页方式（例如 MySQL 和 Oracle 分页方式），支持多种数据库，并且使用非常简单。一般动态sql或复杂的sql语句，推荐使用mapper.xml配置。2.mybatis.xml配置文件中添加 PageHelper 的插件。缓存查询结果，减少与数据库的交互，从而提高运行效率。第一次访问数据库，缓存到session缓存区。才会将session缓存的数据刷新到factory二级缓存中。作用：简化mapper.xml配置，
【缓存与加速技术实践】Redis数据类型
最新发布
Karoku的博客
11-04 160
String（字符串）、List（列表）、Hash（散列）、Set（无序集合）和Sorted Set（有序集合）。
深入解析缓存模式下的数据一致性问题
码上一元
11-01 952
深入解析缓存模式下的数据一致性问题
Mybatis中的缓存
w_t_y_y的博客
11-04 203
spring cache可以与分布式缓存解决方案（如 Redis）结合使用，适合需要跨多个实例共享缓存的应用；local cache 由于数据存储在本地 JVM 中，不支持跨 JVM 共享，适合单实例应用；Local Cache 适合对性能要求极高且不需要分布式缓存的应用，通常用于临时数据存储。spring cache适合需要统一缓存管理、可扩展性和分布式支持的应用；spring的缓存框架，用于mybatis一般结合redis使用；mybatis自带缓存，一般使用redis做缓存；
初窥 HTTP 缓存
潜隐-前端
11-01 935
HTTP 缓存对于提高网站性能和用户体验, 扮演着重要的角色! 它通过在客户端和服务器之间存储和重用先前获取的资源副本, 来减少网络流量和降低资源加载时间, 从而提升用户体验, 本文将对 HTTP 缓存展开做个简单的介绍....
【缓存与加速技术实践】Redis哨兵
Karoku的博客
10-31 1281
Sentinel 在做 failover 的时候会执行这个脚本，并且传递 7 个参数 master-name、role、state、from-ip、from-port、to-ip、to-port，其中 to-ip 是新主 Redis 的 IP 地址，可以在这个脚本里做 VIP 漂移操作。哨兵无法对从节点进行自动故障转移，在读写分离场景下，从节点故障会导致读服务不可用，需要对从节点做额外的监控、切换操作。哨兵模式的启动依赖于主从模式的配置。因此，在配置哨兵模式之前，必须确保主从模式已经正确安装和配置。
redis的多级缓存
09-11
Redis的多级缓存指的是在系统中同时使用多个层次的缓存，其中Redis作为其中一级缓存的一种。在多级缓存中，Redis通常用作一个高速且可靠的缓存层，可以在内存中存储大量的数据，并提供快速的数据读取和写入操作。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值