字节缓存技术概述

    字节缓存在学术领域又被称为protocol-dependent redundancy elimination,即协议无关的重复数据删除技术。该技术是专门针对网络上的数据流进行重复数据删除的。

  1. 按应用位置进行分类 ,可以分为两类:LAN之间的字节缓存;WAN内部的字节缓存。
                 LAN之间的字节缓存:主要指两个LAN通过WAN相连,字节缓存研究怎样在LAN同WAN的网关处进行字节缓存缩减数据,一般在IP层之上进行。企业可以自主选择是否使用该技术进行数据约减。
                WAN内部的字节缓存:主要是对WAN中多个主干路由器之间传输的数据进行字节缓存缩减数据,从而减少WAN网络中的数据传输,该技术路由算法结合的很紧密,并通常集成到主干路由器中。对于经过该路由器的所有数据,都是数据约减的对象。企业通常无法选择是否实现该技术,通常由电信运营商决定是否在WAN网络路由器中使用该项技术。主要形式有基于hop-by-hop和coordinated两种。  
                在企业的远端数据传输WAN优化应用中,通常使用LAN之间的字节缓存技术。该技术通用的算法是,client端对要传输的数据F进行分段并对每一段计算特征值M,并发送到server端,server端收到M后同server内存中的已有特征值N进行比对,如果发现匹配,那么匹配的特征值表明对应的段在server端已经存在,即曾经发送过该段数据,因此client端可以不用发送该段重复数据,仅发送一个标示信息,从而节约了网络流量,提高发送速度。                                                  
  2. 同数据重删的区别:首先,粒度是不同的,数据重删的一个块可能是KB级别,而字节缓存仅仅是B级别;其次,字节缓存有时需要对用户透明,即用户进行上网操作的同时使用字节缓存发送数据,因此该算法不能占用过多资源或者时间消耗过大影响用户上网体验,因此字节缓存不一定对所有的需要传输或者备份的数据全集维护指纹,而可能只对最近使用的数据维护指纹,而基于数据块充重删中一般对整个文件集进行指纹维护;此外,重复数据删除的备份数据是静态的,而字节缓存的备份数据是实时产生的。用户会使用专门的备份窗口时间进行重复数据删除的远端备份,在每次备份开始前,备份的数据是确定的静态不变的,备份中用户不会再修改添加删除数据,因此,bloomfilter算法可以应用于重复数据删除技术,然而,在字节缓存中,备份的过程中用户会不断修改添加删除数据,因此bloomfiter算法不能使用。
  3. 字节缓存的过程可以大致分为两部分:数据分块部分和匹配检测部分。数据分块基本
  4. 数据分块常用算法:MODP, MAXP, LOCAL MAXIMUM APPROACH, 以及combiheader方法。   
  5. 匹配检测常用算法:chunk-match和max-match算法以及combiheader方法。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值