计数布隆过滤器

  根据前面的介绍普通的布隆过滤器,是将多个元素同时映射到同一个哈希空间的中的bit位,进而一个bit位就有很大的可能性映射了多个元素,所以无法有效的删除哈希空间中的某一个元素,因为按照上述所说一旦删除了某一个元素极有可能影响其它的元素,进而可得普通的布隆过滤器无法支持删除元素。在2000年Li Fan等人发表了一篇关于新ICP协议的论文Summary Cache: A Scalable Wide-Area Web Cache Sharing Protocol,并在论文中使用了带计数的布隆过滤器(Count Bloom Filter),以此来弥补普通布隆过滤器不支持删除的缺陷。
  计数布隆过滤器(Count Bloom Filter)的原理:

  • 定义:同样和普通布隆过滤器一样先给定一个N * Mbits长度的哈希空间。(PS:M 是用来存计数的位大小,如取 4,则最大计数为15。)
  • 插入:将给定的元素交给d个哈希函数处理,每个哈希函数处理后都将映射到哈希空间的一个位置上,然后再在对此位置的计数值+1
  • 删除:将给定的元素交给d个哈希函数处理,每个哈希函数处理后都将映射到哈希空间的一个位置上,直接对该位置的计数值-1;如果-1后小于0就直接取0
  • 判断存在:与普通布隆过滤器的处理方式一样

  综上,计数布隆过滤器和普通布隆过滤器的区别,只是将普通布隆过滤器单纯讲映射位置置为0或者1,改为了一个计数器,插入就对其+1,删除就对其-1。
  正如下图所示,要映射hello和world两个单词,

  1. hello经过两个哈希函数后得到位置1和5,并将其位置的计数器+1
  2. world进过两个哈希函数后得到位置1和8,因为1位子的计数器已经有值,所以此时+1就变成了2

image.png

ICP(Internet Cache Protocol)

  Internet Cache Protocol是1995年开发的基于UDP的协议,允许代理服务器阵列通过网络进行通信和协同工作,即单个代理服务器查询相邻的代理服务器,以尝试找到所请求对象的缓存副本。
  换言之,传统的网络缓存服务器会根据过期时间,缓存一批最近访问URL的网页信息。如果用户再次访问相同的URL,就可以直接从缓存中返回给用户,无需再经过网络路由请求。如果用户访问的代理服务器没有缓存该URL,还会继续向相邻的代理服务器发出请求,只要当所有代理服务器都返回没有找到之后才会放弃缓存查找。
  传统的Internet Cache Protocol需要缓存的页面信息很大,所以都是缓存在本地磁盘中。
image.png
  如上图所示:

  1. 客户端访问URL会先打到某一个代理服务器,这个代理服务器在分层上可以是父子关系,也可以是兄弟关系
  2. 如果打到的代理服务器上没有找到对应URL的缓存,此时就会将这个访问请求发送给这个代理服务器的父代理服务器;如找到就直接返回
  3. 父代理服务器会做一个统揽的请求、缓存和传递访问请求,直到找到缓存或确认没有缓存为止

  Internet Cache Protocol协议设计相对轻量级,旨在用于不可靠但快速的连接,以最大限度地减少缓存之间的往返时间。但是由此也就有了以下缺点:

  • ICP阵列使用查询来确定缓存信息的位置,需要产生额外的网络流量
  • ICP阵列具有可扩展性,即阵列中的代理服务器越多,生成的查询流量就越多
  • ICP阵列缓存的数据高度冗余,每个缓存都包含类似的信息(最常访问站点的URL)

使用Count Bloom Filter的Internet Cache Protocol

  从论文Summary Cache: A Scalable Wide-Area Web Cache Sharing Protocol上来看主要是针对上述提高的传统Internet Cache Protocol的三个缺点来进行的优化改进,首先引入Count Bloom Filter来替代以前缓存整个URL信息,从而降低了数据大小和冗余量;其次因为降低了数据量和冗余量,所以就可以不再将缓存放入磁盘中,而是放入内存中,从而降低Web缓存代理带宽和网络流量;最后引入Count Bloom Filter后每个代理服务器可以将其数据存储在内存中,各个代理服务器就可以向其它代理服务器同步自己的Count Bloom Filter数据,从而就无需进行大量的查询流量转发。
  原论文中给出了完整的证明过程,这里就不再进行累述,如感兴趣可自行阅读Summary Cache: A Scalable Wide-Area Web Cache Sharing Protocol
image.png
  处理逻辑如上图所示:

  1. 因为经过数据同步之后,每个代理服务器都有全量的Count Bloom Filter数据,所以客户端的请求只需要在代理服务器A上查找是否命中缓存即可。
  2. 代理服务器A查询到命中缓存且内容在代理服务器B上,于是将请求转发给代理服务器B
  3. 代理服务器B得到请求后获取缓存内容返回给代理服务器A,进而返回给客户端
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
布隆过滤器(Bloom Filter)是一种重要的数据结构,它用于快速判断一个元素是否存在于一个集合中。布隆过滤器的核心思想是通过一系列哈希函数来对元素进行多次哈希,然后将得到的哈希值映射到一个位数组中,并将对应的位置设为1。当需要判断一个元素是否存在时,同样对其进行多次哈希,检查对应位数组的值是否都为1,若都为1则可以确定元素可能存在;若存在一个0,则可以确定元素一定不存在。因此,布隆过滤器是一种基于概率的数据结构,可以高效地进行查找。 然而,布隆过滤器也存在一些问题。首先,由于多个不同的元素可能会哈希到相同的位上,因此在查询时可能出现误判,即判断一个元素存在时实际上并不存在。这种误判是由于多个元素共享了某一位的原因导致的。其次,布隆过滤器的特性决定了它无法支持元素的删除操作,因为删除一个元素可能会影响其他元素的判断结果,从而增加误判率。 要注意的是,计数布隆过滤器(Counting Bloom Filter)提供了一种实现删除操作的可能性,但并不能保证在后续查询时该值一定返回不存在。因此,不能说计数布隆过滤器支持删除,而是说计数布隆过滤器提供了实现删除的可能。 [3<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [【海量数据处理】布隆过滤器BloomFilter](https://blog.csdn.net/qq_43727529/article/details/127180864)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *3* [Java --- redis7之布隆过滤器BloomFilter](https://blog.csdn.net/qq_46093575/article/details/130613434)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

乐只乐之

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值