redis单机最大并发量
Redis的速度非常的快,单机的Redis就可以⽀撑 每秒十几万的并发,相对于MySQL来说,性能是MySQL的几十倍。
布隆过滤器
可用于解决常规方法判断某个元素是否存在在上亿的数据量中的数据检索时间复杂度、整体的效率和占用特别多的内存空间。
位图可以有效解决该问题,其基本原理是使用一个比特位来存储当前数据是否存在的一个状态值。也就是把一个数据通过hash运算取模后,落在bit数组里面的一个位置。通过1对该位置进行标记,这种方式适合用于大规模的数据,但是数据状态又不是很多的情况。通常用于判断某个数据是否存在。
布隆过滤器就是在位图的基础上做了一些优化的设计。
其原理是当一个元素被加入到集合的时候,通过k个散列函数,把这个函数映射到一个位数组中的K个点,把这些位置设为1。
我们在进行数据检索和比较的时候可以使用同样的方式去映射,只要看到每个映射的位置的值是否为1,就可以大概知道该元素是否存在于集合里面。
如果这些点里面,有任何一个位置的值是0,那么意味着被检查的元素一定不存在这个集合里面。如果都是1,那么则被检查元素很可能存在。这就是布隆过滤器的一个基本原理。
多级缓存
多级缓存架构,从上至下,分为客户端、应用层、服务层、数据层
客户端缓存
商城中主要是对html中图片、css、字体等静态来进行缓存。
在过期前,会将图片已文件形式保存到本地,再次访问时会看见from disk cache的提示。
应用层缓存
CDN内容分发网络,其中的核心技术是:
Expires和Cache-Control的区别
Expires是指定具体某个时间点缓存到期。
Cache-Control则代表缓存的有效期是多长时间。
Expires设置时间,Cache-Control设置时长。
Nginx缓存管理
Nginx是一款开源的、跨平台高性能服务器。
Nginx作为Web应用中的常客,例如后端的Tomcat集群便可以通过Ngix做前置的软负载均衡,为应用提供高可用性。
在本地以目录的形式缓存,当前缓存的图片文件、css、js都在Nginx的缓存目录下进行分文件分目录的保存。
服务层缓存
进程内缓存
在一个应用中开辟一个内存空间,数据是在运行时被载入到这块内存中。通过本地内存的低延迟和高吞吐的特性来提高程序的访问速度。
进程内缓存在众多的java框架中也有着典型的应用,比如Hibernate,mybatis的一二级缓存,SpringMVC的页面缓存都是进程内缓存的典型代表。
这些进程内缓存在java中也有着很多开源的实现。
进程外缓存
也就是分布式缓存,典型代表就是redis。
通过独立地部署分布式的缓存服务,最常用的就是基于redis的这种内存型NoSQL数据库。
对整体架构中的应用数据来进行集中缓存。
缓存数据一致性问题的解决
数据库写操作是不会走缓存的,如何保证缓存同步更新。最常用的就是在当前的架构中引入mq消息队列。利用其主动推送的功能向其他的服务实例推送这些变更的数据。
引入多级缓存设计的时刻
- 缓存的数据是稳定的,邮政编码、地域区块等等。
- 瞬间会产生极高并发的场景,12306、股市交易等等。
- 一定程度上允许数据不一致。
参考资料: