文件数据块分块算法解析

文件数据块分块算法解析

1. 简介

       存储系统的重复数据删除过程一般是这样的：首先将数据文件分割成一组数据块，为每个数据块计算指纹，然后以指纹为关键字进行Hash查找，匹配则表示该数据块为重复数据块，仅存储数据块索引号，否则则表示该数据块是一个新的唯一块，对数据块进行存储并创建相关元信息。这样，一个物理文件在存储系统就对应一个逻辑表示，由一组FP组成的元数据。当进行读取文件时，先读取逻辑文件，然后根据FP序列，从存储系统中取出相应数据块，还原物理文件副本。从如上过程中可以看出，存储系统的重复数据删除的关键技术主要包括文件数据块切分、数据块指纹计算和数据块检索。

2.数据块分块算法

2.1 定长分块(fixed-size partition)

       定长分块算法采用预先义好的块大小对文件进行切分，并进行弱校验值和md5强校验值。弱校验值主要是为了提升差异编码的性能，先计算弱校验值并进行hash查找，如果发现则计算md5强校验值并作进一步hash查找。由于弱校验值计算量要比md5小很多，因此可以有效提高编码性能。定长分块算法的优点是简单、性能高，但它对数据插入和删除非常敏感，处理十分低效，不能根据内容变化作调整和优化.

下面的chunk_file_hdr和chunk_block_entry数据结构见博客：http://blog.csdn.net/chenglinhust/article/details/8776830。

代码为：

/* fix-sized file chunking */
/*fd_src为分块的源文件*/
/*fd_c