数据分块算法整理

固定分块检测技术

基于FSP算法的块检测技术

完全文件检测不能用于文件内部的重复数据查找， 因此有研究者提出了更细粒度–块级别的重复数据检测。基于固定尺寸划分算法的相同数据块检测技术是使用固定大小的分块策略在存储系统中识别相同数据的方法
1）提供一个已经预先定义好的块的大小（该值独立于所存取的数据容），所有文件均按照这个固定的块大小进行划分。
2）每个划分好的数据块均通过哈希算法得到一个指纹值。
3）将该值与已存储的指纹值进行比对，如果检测到相同的值，则删除其代表的数据块，否则存储新的数据块。

可变分块检测技术

基于CDC(content-defined-chunking)算法的检测技术

CDC算法是应用Rabin指纹将文件切割成长度大小不一的分块策略，与固定分块策略不同的是，它对文件块进行划分的方法是基于内容的，因此数据块大小是可变的。
1)一个文件按照CDC算法分成若干数据块。CDC算法首先从头文件开始，将固定大小（互相重叠）的滑动窗口中的数据看成组成文件的各个部分。在窗口的每个位置，该窗口中数据的一个指纹被计算出来（此时的指纹是用来确定边界的），因为rabin指纹的高效性，通常使用rabin算法来计算滑动窗口的指纹。当指纹满足某个条件时，如当它的值模某个指定的整数位0时，则把此事窗口的位置作为块的边界。重复这个过程，直到整个文件数据都被分成块。

2）划分出的每个块用Hash函数计算出它的指纹值与已存储的数据块进行对比，如果检测到相同的指纹值，则删除其代表