大文件md5_.NET Core 下最快比较两个文件内容是否相同

(给DotNet加星标，提升.Net技能)

转自：WAKU cnblogs.com/waku/p/11069214.html

最近项目有个需求,需要比较两个任意大小文件的内容是否相同,要求如下:

1. 项目是.NET Core,所以使用C#进行编写比较方法

2. 文件大小任意,所以不能将文件内容全部读入到内存中进行比较(更专业点说,需要使用非缓存的比较方式)

3. 不依赖第三方库

4. 越快越好

为了选出最优的解决方案,我搭建了一个简单的命令行工程,准备了两个大小为912MB的文件,并且这两个文件内容完全相同.在本文的最后,你可以看到该工程的Main方法的代码.

下面我们开始尝试各个比较方法,选出最优的解决方案:

比较两个文件是否完全相同,首先想到的是用哈希算法(如MD5,SHA)算出两个文件的哈希值,然后进行比较.

写一个MD5比较方法:

/// 
/// MD5
/// 
/// 
/// 
/// 
private static bool CompareByMD5(string file1, string file2){
    
// 使用.NET内置的MD5库
using (var md5 = MD5.Create())
    {
    
byte[] one, two;
using (var fs1 = File.Open(file1, FileMode.Open))
        {
    
// 以FileStream读取文件内容,计算HASH值
            one = md5.ComputeHash(fs1);
        }
using (var fs2 = File.Open(file2, FileMode.Open))
        {
    
// 以FileStream读取文件内容,计算HASH值
            two = md5.ComputeHash(fs2);
        }
// 将MD5结果(字节数组)转换成字符串进行比较
return BitConverter.ToString(one) == BitConverter.ToString(two);
    }
}

比较结果:

Method: CompareByMD5, Identical: True. Elapsed: 00:00:05.7933178

耗时5.79秒,感觉还不错.然而,这是最佳的解决方案吗?

其实我们仔细想一下,答案应该是否定的.

因为任何哈希算法本质上都是对字节进行一定的计算,而计算过程是要消耗时间的.

很多下载网站上提供了下载文件的哈希值,那是因为下载的源文件本身不会改变,只需要计算一次源文件的哈希值,提供给用户验证即可.

而我们的需求中,两个文