文章目录
引言
处理数据的位置:CPU(0.2ns);存储数据的位置:磁盘(3ms);
cpu和磁盘的交互速度是非常慢的,因为磁盘是一个机械式的结构,每次操作磁盘数据需要移动指针、转动磁盘,非常耗费时间,而cpu运行速度非常快,导致cpu和磁盘之间有很大的速度差;
这就导致不会直接操作磁盘来读取数据,而是读取内存的数据,用来减少cpu和磁盘之间的交互次数,节省时间;
什么是缓存?
磁盘当中的数据会先加载到内存当中形成备份,内存当中的数据就叫做缓存
缓存有 :cookie、session、application、cache、redis。
为什么使用缓存?(缓存作用)
缓存主要是为了提高数据的读取速度。因为服务器和应用客户端之间存在着流量的瓶颈,所以读取大容量数据时,使用缓存来直接为客户端服务,可以减少客户端与服务器端的数据交互,从而大大提高程序的性能。
实现数据的缓存有很多种方法:
- 客户端的Cookie,有服务器端的Session和Application。
- Cookie是保存在客户端的一组数据,主要用来保存用户名等个人信息。
- Session则保存对话信息。
- Application则是保存在整个应用程序范围内的信息,相当于全局变量。
- 通常使用最频繁的是Session,缓存也是有限的,会自动清除之前的旧数据。其中redis的读取速度最快,并且是在内存中进行读取,当内存不够时可以扩大内存,还有就是 .net提供的Cache缓存。
- mybatis缓存:减少和数据库的交互次数,减少系统开销,提高系统效率。
什么样的数据适合当缓存?
经常被查询但是不经常被修改的数据适合当缓存
例如:
数据库当中的数据是存储在磁盘当中,数据库当中查询用的最多,那么经常查询的数据就可以作为缓存
本地缓存
本地缓存的概念:
本地缓存是指和应用程序在同一个进程内的内存空间去存储数据,数据的读写都是在同一个进程内完成的。
本地缓存优点:
读取速度快,但是不能进行大数据量存储。本地缓存不需要远程网络请求去操作内存空间,没有额外的性能消耗,所以读取速度快。但是由于本地缓存占用了应用进程的内存空间,比如java进程的jvm内存空间,故不能进行大数据量存储。
本地缓存缺点:
(1)应用程序集群部署时,会存在数据更新问题(数据更新不一致)
本地缓存一般只能被同一个应用进程的程序访问,不能被其他应用程序进程访问。在单体应用集群部署时,如果数据库有数据需要更新,就要同步更新不同服务器节点上的本地缓存的数据来保证数据的一致性,但是这种操作的复杂度高,容易出错。可以基于redis的发布/订阅机制来实现各个部署节点的数据同步更新。
(2)数据会随着应用程序的重启而丢失
因为本地缓存的数据是存储在应用进程的内存空间的,所以当应用进程重启时,本地缓存的数据会丢失。
本地缓存的实现
(1)缓存存储的数据一般都是key-value键值对的数据结构,在java语言中,常用的字典实现包括 HashMap 和 ConcurretHashMap。
(2)除了上面说的实现方式以外,也可以用Guava、Ehcache以及Caffeine等封装好的工具包来实现本地缓存。
LocalCache代码:
- springboot2.7.9
- java1.8
maven依赖:
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
<version>2.2.1.RELEASE</version>
</dependency>
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>druid</artifactId>
<version>1.1.21</version>
</dependency>
<dependency>
<groupId>com.google.guava</groupId>
<artifactId>guava</artifactId>
<version>23.0</version>
</dependency>
<dependency>
<groupId>com.google.inject</groupId>
<artifactId>guice</artifactId>
<version>4.1.0</version>
</dependency>
<dependency>
<groupId>cn.hutool</groupId>
<artifactId>hutool-all</artifactId>
<version>5.3.5</version>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
</dependency>
@RestController
public class DemoController {
@GetMapping("/hello")
public String demo(Long id){
System.out.println(String.valueOf(id));
String name = LocalCache.cacheMap.get(String.valueOf(id));
if (name == null){
//
System.out.println("我查询数据库了");
name = id+"--"+ UUID.randomUUID().toString();
LocalCache.cacheMap.put(String.valueOf(id),name);
}
return name;
}
}
public class LocalCache {
public static HashMap<String,String> cacheMap = new HashMap<>();
@PostConstruct
public void init(){
cacheMap.put("1","aaa");
cacheMap.put("null","ccc");
}
}
Guava代码
环境和maven依赖同上
@RestController
public class DemoController {
@Resource
GuavaCache guavaCache;
@GetMapping("/helloCache")
public String guavaDemo(Long id) throws ExecutionException {
System.out.println(String.valueOf(id));
String name = guavaCache.getData(String.valueOf(id));
return name;
}
}
import cn.hutool.core.lang.UUID;
import com.google.common.cache.CacheBuilder;
import com.google.common.cache.CacheLoader;
import com.google.common.cache.LoadingCache;
import org.springframework.stereotype.Component;
import javax.annotation.PostConstruct;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.TimeUnit;
@Component
public class GuavaCache {
private LoadingCache<String,String> cache;
public GuavaCache(){
cache = CacheBuilder.newBuilder()
.maximumSize(1000)
.expireAfterWrite(10, TimeUnit.SECONDS)
.build(new CacheLoader<String, String>(){
@Override
public String load(String key) throws ExecutionException {
//获取数据
System.out.println("查询数据库。。");
return key+"--"+ UUID.randomUUID().toString();
}
});
}
public String getData(String key) throws ExecutionException {
return cache.get(key);
}
@PostConstruct
public void init(){
cache.put("1","aaa");
cache.put("null","ccc");
}
}
写代码遇到的问题
报错:Failed to configure a DataSource: 'url' attribute is not specified and no embedded datasource could be configured.
原因:项目并没有连接数据库,但是在maven种添加了spring-boot-starter-jdbc,在启动配置文件时 ,Spring Boot 的自动装配机制就会去配置文件中找,相关的数据库的连接配置信息,如果找不到则抛出异常信息。
解决方法:删除这个maven依赖
分布式缓存
分布式缓存概念:分布式缓存是独立部署的服务进程,并且和应用程序没有部署在同一台服务器上。所以是需要通过远程网络请求来完成分布式缓存的读写操作,并且分布式缓存主要应用在应用程序集群部署的环境下。
分布式缓存优点:
(1)支持大数据量存储
分布式缓存是独立部署的进程,拥有自身独自的内存空间,不需要占用应用程序进程的内存空间,并且还支持横向扩展的集群方式部署,所以可以进行大数据量存储。
(2)数据不会随着应用程序重启而丢失
分布式缓存和本地缓存不同,拥有自身独立的内存空间,不会受到应用程序进程重启的影响,在应用程序重启时,分布式缓存的存储数据仍然存在。
(3)数据集中存储,保证数据的一致性
当应用程序采用集群方式部署时,集群的每个部署节点都有一个统一的分布式缓存进行数据的读写操作,所以不会存在像本地缓存中数据更新问题,保证了不同服务器节点的 数据一致性。
(4)数据读写分离,高性能,高可用
分布式缓存一般支持数据副本机制,实现读写分离,可以解决高并发场景中的数据读写性能问题。而且在多个缓存节点冗余存储数据,提高了缓存数据的可用性,避免某个缓存节点宕机导致数据不可用问题。
分布式缓存缺点:
(1)数据跨网络传输,读写性能不如本地缓存
分布式缓存是一个独立的服务进程,并且和应用程序进程不在同一台机器上,所以数据的读写要通过远程网络请求,这样相对于本地缓存的数据读写,性能要低一些。
分布式缓存的实现:
分布式缓存的典型实现包括 MemCached 和 Redis。
内存缓存淘汰机制
FIFO(First In,First Out)先进先出
优点:是先进先出的数据缓存器,他与普通存储器的区别是没有外部 读写地址线,这样使用起来非常简单。
缺点:只能顺序写入数据,顺序的读出数据,其数据地址由内部读写指针自动加1完成,不能像普通存储器那样可以由地址线决定读取或写入某个指定的地址
LFU(Least Freauently Used)
最不经常使用页置换算法,清理掉留给经常使用的使用
LRU(Least Recently Used)
内存管理的一种页面置换算法,新加入的数据放到链表的头部,当缓存命中(被访问)数据移到链表的头部,当链表满的时候,将链表尾部的数据丢弃。