微服务学习笔记--高级篇--(多级缓存意义及JVM进程缓存)

多级缓存

亿级流量的缓存方案

传统缓存的问题

传统的缓存策略一般是请求到达Tomcat后，先查询Redis，如果未命中则查询数据库，存在下面的问题：

• 请求要经过Tomcat处理，Tomcat的性能成为整个系统的瓶颈
• Redis缓存失效时，会对数据库产生冲击

多级缓存方案

多级缓存就是充分利用请求处理的每个环节，分别添加缓存，减轻Tomcat压力，提升服务性能：

用户发起请求-->浏览器客户端缓存-->nginx本地缓存-->nginx缓存未命中，Redis缓存-->Redis缓存未命中，进程缓存-->进程缓存未命中，redis数据库

用作缓存的Nginx是业务Nginx，需要部署为集群，再有专门的Nginx用来做反向代理

目录

• JVM进程缓存
• Lua语法入门
• 多级缓存
• 缓存同步策略

JVM进程缓存

• 导入商品案例
• 初识Caffeine
• 实现进程缓存

安装MySQL教程

后续数据同步需要用到MySQL主从功能，需要在虚拟机中，利用Docker运行一个MySQL容器。

1.1准备目录

为了方便配置MySQL，先准备两个目录，用于挂载容器的数据和配置文件目录：

# 进入/tmp目录
cd /tmp
# 创建文件夹
mkdir mysql
# 进入mysql目录
cd mysql

1.2运行命令

进入mysql目录后，执行下面的Docker命令：

docker run \
 -p 3306:3306 \
 --name mysql \
 -v $PWD/conf:/etc/mysql/conf.d \
 -v $PWD/logs:/logs \
 -v $PWD/data:/var/lib/mysql \
 -e MYSQL_ROOT_PASSWORD=123 \
 --privileged \
 -d \
 mysql:5.7.25

1.3修改配置

在/tmp/mysql/conf目录添加一个my.cnf文件，作为mysql的配置文件：

# 创建文件
touch /tmp/mysql/conf/my.cnf

文件的内容如下：

[mysqlId]
skip-name-resolve
character_set_server=utf8
datadir=/var/lib/mysql
server-id=1000

1.4重启

配置修改后，必须重启容器：

docker restart mysql

我们需要准备一个反向代理的nginx服务器，将静态的商品页面放到nginx目录中，页面需要的数据通过ajax向服务器(nginx业务集群)查询。

nginx的conf目录下的nginx.conf文件，关键的配置如下：

upstream nginx-cluster{
	server 192.168.150.101:8081; #nginx-cluster集群，就是将来的nginx业务集群
}
server {
	listen       80;
	server_name  localhost;

	location /api {
		proxy_pass http://nginx-cluster; #监听/api路径，反向代理到nginx-cluster集群
	}
}

初识Caffeine

本地进程缓存

缓存在日常开发中启动至关重要的作用，由于是存储在内存中，数据的读取速度是非常快的，能大量减少对数据库的访问，减少数据库的压力。我们把缓存分为两类：

分布式缓存，例如Redis：

• 优点：存储容量更大、可靠性更好、可以在集群键共享
• 缺点：访问缓存有网络开销
• 场景：缓存数据量较大、可靠性要求较高、需要在集群间共享

进程本地缓存，例如HashMap、GuaveCache

• 优点：读取本地内存，没有网络开销，速度更快
• 缺点：存储容量有限、可靠性较低、无法共享
• 场景：性能要求较高，缓存数据量较小

Caffeine是一个基于Java8开发的，提供了近乎最佳命中率的高性能的本地缓存库。目前Spring内部的缓存使用的就是Caffeine。GitHub地址：https://github.com/ben-manes/caffeine

Caffeine示例

可以通过item-service项目中的单元测试来学习Caffeine的使用

@Test
void testBasicOps() {
	// 创建缓存对象
	Cache<String,String> cache = Caffeine.newBuilder().build();

	//存数据
	cache.put("gf","luxifa");
	
	//取数据，不存在则返回null
	String gf = cache.getIfPresent("gf");

	//取数据，不存在则去数据库查询
	String defaultGF = cache.get("defaultGF", key -> {
	//这里取数据库根据key查询value
	return "degula";
	});
}

Caffeine提供了三种缓存驱逐策略：

• 基于容量：设置缓存的数量上限

//创建缓存对象
Cache<String,String> cache = Caffeine.newBuilder()
		.maximumSize(1)  //设置缓存大小上限为 1
		.build();

• 基于时间：设置缓存的有效时间

//创建缓存对象
Cache<String,String> cache = Caffeine.newBuilder()
		.expireAfterWrite(Duration.ofSeconds(10) //设置缓存有效期为10秒，从最后一次写入开始计时
		.build();

• 基于引用：设置缓存为软引用或弱引用，利用GC来回收缓存数据。性能较差，不建议使用。

在默认情况下，当一个缓存元素过期的时候，Caffeine不会自动立即将其清理和驱逐。而是在一次读或写操作后，或者在空闲时间完成对失败数据的驱逐。

实现进程缓存

案例：实现商品的查询的本地进程缓存

利用Caffeine实现下列需求：

• 给根据id查询商品的业务添加缓存，缓存为命中时查询数据库
• 给根据id查询商品库存的业务添加缓存，缓存未命中时查询数据库
• 缓存初始大小为100
• 缓存上限为1000

CaffeineConfig.java

@Configuration
public class CaffeineConfig {
	
	@Bean
	public Cache<Long,Item> itemCache() {
		return Caffeine.newBuilder()
				.initialCapacity(100)
				.maximumSize(10_000)
				.build();
	}

	@Bean
	public Cache<Long,ItemStock> stockCache() {
		return Caffeine.newBuilder()
				.initialCapacity(100)
				.maximumSize(10_000)
				.build();
	}
}

ItemController.java

@RestController
@RequestMapping("item")
public class ItemController {
	
	@Autowired
	private IItemService itemService;
	@Autowired
	private IItemStockService stockService;

	@Autowired
	private Cache<Long,Item> itemCache;
	@Autowired
	private Cache<Long,ItemStock> stockCache;

	@GetMapping("/{id}")
	public Item findById(@PathVariable("id") Long id) {
		return itemCache.get(id,key -> itemService.query()
				.ne("status",3).eq("id",key)
				.one()
		);
	}

	@GetMapping("/stock/{id}")
	public ItemStock findStockById(@PathVariable("id") Long id) {
		return stockCache.get(id,key -> stockService.getById(id));
	}
}