ZFS文件系统将内置Deduplication

 Sun的ZFS文件系统将内置Deduplication功能，利用哈希函数清理重复的数据块，从而大幅减小数据占用的空间。 Deduplication是消除数据副本的程序，它将使用安全的哈希算法如SHA256去检查文件级别、块级别、比特级别的数据唯一性，SHA256发生哈希碰撞的可能性为2^-256，比ECC内存出错的概率低了50个数量级。在使用Deduplication后，当你储存现有数据的另一个副本，它将不会占用额外的硬盘空间，而是在现有数据中加入一个引用计数（reference count）。当数据为高重复性，如备份服务器、虚拟机镜像，源代码仓库，Deduplication能减少的数据空间将不是以百分比计算，而是用倍数计算。文件级别dedup是给整个文件分配一个哈希签名，当文件内的一个数据块发生变化之后，文件的签名就改变了，两者就不是具有同一性，这种方法的好处是计算量最低，但不高效。比特级别的dedup显然需要的计算量最大，最高效。ZFS内置的Deduplication使用的是块级别的dedup，取折中，使用SHA256函数为所有的数据块提供独有的签名。

 

From: http://developers.solidot.org/developers/09/11/03/0530238.shtml