根据前面的介绍普通的布隆过滤器,是将多个元素同时映射到同一个哈希空间的中的bit位,进而一个bit位就有很大的可能性映射了多个元素,所以无法有效的删除哈希空间中的某一个元素,因为按照上述所说一旦删除了某一个元素极有可能影响其它的元素,进而可得普通的布隆过滤器无法支持删除元素。在2000年Li Fan等人发表了一篇关于新ICP协议的论文Summary Cache: A Scalable Wide-Area Web Cache Sharing Protocol,并在论文中使用了带计数的布隆过滤器(Count Bloom Filter),以此来弥补普通布隆过滤器不支持删除的缺陷。
计数布隆过滤器(Count Bloom Filter)的原理:
- 定义:同样和普通布隆过滤器一样先给定一个N * Mbits长度的哈希空间。(PS:M 是用来存计数的位大小,如取 4,则最大计数为15。)
- 插入:将给定的元素交给d个哈希函数处理,每个哈希函数处理后都将映射到哈希空间的一个位置上,然后再在对此位置的计数值+1
- 删除:将给定的元素交给d个哈希函数处理,每个哈希函数处理后都将映射到哈希空间的一个位置上,直接对该位置的计数值-1;如果-1后小于0就直接取0
- 判断存在:与普通布隆过滤器的处理方式一样
综上,计数布隆过滤器和普通布隆过滤器的区别,只是将普通布隆过滤器单纯讲映射位置置为0或者1,改为了一个计数器,插入就对其+1,删除就对其-1。
正如下图所示,要映射hello和world两个单词,
- hello经过两个哈希函数后得到位置1和5,并将其位置的计数器+1
- world进过两个哈希函数后得到位置1和8,因为1位子的计数器已经有值,所以此时+1就变成了2
ICP(Internet Cache Protocol)
Internet Cache Protocol是1995年开发的基于UDP的协议,允许代理服务器阵列通过网络进行通信和协同工作,即单个代理服务器查询相邻的代理服务器,以尝试找到所请求对象的缓存副本。
换言之,传统的网络缓存服务器会根据过期时间,缓存一批最近访问URL的网页信息。如果用户再次访问相同的URL,就可以直接从缓存中返回给用户,无需再经过网络路由请求。如果用户访问的代理服务器没有缓存该URL,还会继续向相邻的代理服务器发出请求,只要当所有代理服务器都返回没有找到之后才会放弃缓存查找。
传统的Internet Cache Protocol需要缓存的页面信息很大,所以都是缓存在本地磁盘中。
如上图所示:
- 客户端访问URL会先打到某一个代理服务器,这个代理服务器在分层上可以是父子关系,也可以是兄弟关系
- 如果打到的代理服务器上没有找到对应URL的缓存,此时就会将这个访问请求发送给这个代理服务器的父代理服务器;如找到就直接返回
- 父代理服务器会做一个统揽的请求、缓存和传递访问请求,直到找到缓存或确认没有缓存为止
Internet Cache Protocol协议设计相对轻量级,旨在用于不可靠但快速的连接,以最大限度地减少缓存之间的往返时间。但是由此也就有了以下缺点:
- ICP阵列使用查询来确定缓存信息的位置,需要产生额外的网络流量
- ICP阵列具有可扩展性,即阵列中的代理服务器越多,生成的查询流量就越多
- ICP阵列缓存的数据高度冗余,每个缓存都包含类似的信息(最常访问站点的URL)
使用Count Bloom Filter的Internet Cache Protocol
从论文Summary Cache: A Scalable Wide-Area Web Cache Sharing Protocol上来看主要是针对上述提高的传统Internet Cache Protocol的三个缺点来进行的优化改进,首先引入Count Bloom Filter来替代以前缓存整个URL信息,从而降低了数据大小和冗余量;其次因为降低了数据量和冗余量,所以就可以不再将缓存放入磁盘中,而是放入内存中,从而降低Web缓存代理带宽和网络流量;最后引入Count Bloom Filter后每个代理服务器可以将其数据存储在内存中,各个代理服务器就可以向其它代理服务器同步自己的Count Bloom Filter数据,从而就无需进行大量的查询流量转发。
原论文中给出了完整的证明过程,这里就不再进行累述,如感兴趣可自行阅读Summary Cache: A Scalable Wide-Area Web Cache Sharing Protocol。
处理逻辑如上图所示:
- 因为经过数据同步之后,每个代理服务器都有全量的Count Bloom Filter数据,所以客户端的请求只需要在代理服务器A上查找是否命中缓存即可。
- 代理服务器A查询到命中缓存且内容在代理服务器B上,于是将请求转发给代理服务器B
- 代理服务器B得到请求后获取缓存内容返回给代理服务器A,进而返回给客户端