分布式缓存与本地缓存的区别
转载自:https://ost.51cto.com/posts/1002
- 缓存的概念:
- 在服务端中,缓存主要是指将数据库的数据加载到内存中,之后对该数据的访问都在内存中完成,从而减少了对数据库的访问;解决了高并发场景中数据库容易成为性能瓶颈的问题;以及基于内存的访问速度高于磁盘的访问速度的原理,提高了数据的访问速度和程序性能。
- 而根据缓存是否与应用程序属于同一进程,可以将内存分为本地缓存和分布式缓存。本地缓存是在同一个进程内的内存空间中缓存数据,数据读写都是在同一个进程内完成;而分布式缓存是一个独立部署的进程并且一般都是与应用进程部署在不同的机器,故需要通过网络来完成分布式缓存的数据读写操作的数据传输。
- 本地缓存优缺点
- 访问速度快,但无法进行大数据存储:由于数据不需要跨网络传输,故性能更好,但是由于占用了应用程序的内存空间。如 JVM 的内存空间,故不能进行大数据量的数据存储。
- 集群的数据更新问题:本地缓存只支持被该应用进程访问,一般无法被其他应用进程访问,故在应用进程的集群部署中,如果对应的数据库数据存在数据更新,则需要同步更新不同部署节点的本地缓存的数据来保证数据一致性,复杂度较高且容易出错,如基于 Redis 的发布订阅机制来同步更新各个部署节点。
- 数据随应用进程的重启而丢失:内存重启都会丢失,对于需要持久化的数据,需要注意及时保存。
- 适用场景:本地缓存一般适合于缓存只读数据,如统计类工具。或者部署节点独立的数据,如长连接服务中,每个部署节点由于都是维护了不同的连接,每个连接的数据都是独立的,并且随着连接的断开而删除。而如果数据在集群的不同部署节点需要共享和保持一致,则需要使用分布式缓存来统一存储,实现应用集群的所有应用进程都在该统一的分布式缓存中进行数据存取即可。
- 本地缓存的实现:缓存一般是一种 key-value 的键值对数据结构,所以需要使用字典来实现。在 Java 中,常用的字典实现包括 HashMap 和 ConCurrentHashMap。于此同时,由于后者是线程安全的,故经常使用。除此之外,也有其他更加智能的本地缓存实现,如可以定时失效,访问重新加载等,典型实现包括 Google 的 guava 工具包的 Cache 实现,也是线程安全的。
- 分布式缓存
- 优缺点:
- 支持大数据量存储,不受应用进程重启影响:分布式缓存由于是独立部署的进程,拥有自身独立的内存空间,不会受到应用进程重启的影响,在应用进程重启时,分布式缓存的数据依然存在。同时对于数据量而言,由于不需要占用应用程序的内存空间,并且一般支持以集群的方式扩展,故可以进行大数据量的数据缓存。
- 数据集中存储,保证数据一致性:当应用进程采用集群方式部署时,集群的每个部署节点都通过一个统一的分布式缓存进行数据存取操作,故不存在本地缓存中的数据更新问题,保证了不同节点的应用进程的数据一致性问题。
- 数据读写分离,高性能,高可用:分布式缓存一般支持数据副本机制,可以实现读写分离,故可以解决高并发场景中的数据读写性能问题。并且由于在多个缓存节点存储数据,提高了缓存数据的可用性,避免某个缓存节点宕机导致数据不可用问题。
- 数据跨网络传输,性能低于本地缓存:由于分布式缓存是独立部署的进程,并且一般都是与应用进程位于不同的机器,故需要通过网络来进行数据传输,这样相对于本地缓存性能较低。
- 分布式缓存的实现:Memcached 和 Redis
- Memcached:mem 相对于本地缓存的主要差别是以独立进程方式存在,数据集中存储、数据不随应用程序的重启而丢失。而 key-value 键值对的 value 也是一个简单的对象类型,即 value 可以是任意格式的数据,如简单的数字、字符串等数据,但是不支持数据结构的特性。所以 mem 相当于是在内存中维护了一个非常大的哈希表来存储数据,对应的数据操作复杂度都是 O(1),这也是它的优点。
- Redis:Redis 是在 mem 基础上进一步丰富了 key-value 键值对的 value 的数据结构类型,即可以在 Redis 中完成 value 的相关数据操作,如 Set 集合去重、有序集合 ZSet 实现数据排序等。并且 Redis 是单线程的,不存在并发数据读写的线程安全问题,以及更重要的数据读写的顺序性。除此之外,Redis 支持主从同步(读写分离)、集群分片拓展,数据持久化等。这也是 mem 不支持的,所以在高并发场景并且能够容忍极端情况下的少量数据丢失,或者说丢失后可以恢复,如通过日志或重新计算等,Redis 也可以作为数据库来使用,提高高并发场景中的访问性能。
- 优缺点: