MD5算法的实现原理

【项目】磁盘文件管理工具

项目预期目标

本项目旨在实现一个文件管理项目，主要功能为删除磁盘中的重复文件（拟采用计算机文件指纹的方法来判断两个文件是否相同，所谓的文件指纹就是数字签名）

常用的数字签名算法

数字签名的作用主要有：

• 能够确保信息由指定的发送方发送，因为每个人的签名不同
• 数字签名能够保证文件的完整性，因为数字签名代表了所发文件的特征，文件若发生改变，数字摘要的值也会随之发生改变。

常用的数字签名算法主要有HASH算法，该算法主要包括MD（Message-Digest，信息摘要）和SHA（Secure-Hash-Algorithm,安全散列算法）。

MD5算法

MD5的功能特点：

• 输入任意长度的信息，经过处理能够输出128位的信息（数字指纹）
• 输入不同的信息能够得到不同的结果
• 根据128位的输出结果不能反推输入的信息，他的才做数量级为2^128

MD5的主要功能：

• 电子邮件的一致性验证：在发送某电子文档前，先得到MD5值a，在对方接受该文件后，得到一个MD5值b，若a=b则说明文件没有被篡改。
• 文件下载安全验证:在下载网络文件或程序时，为了防止被不法分子安装木马文件，通常网站会公布安装文件的MD5值，用户下载完毕后，将本地计算的MD5值与其相比较，来验证文件是否安全与完整。
• 防止直接看到明文密码：现在大多数网站在数据库存储用户的密码是通常都会存储改密码的MD5值，能够保证不法分子即使在得到密码的MD5值后，也无法反推出用户的密码。

MD5的算法步骤
MD5的算法输入为以bit为单位的信息(1 byte = 8 * bit)，经过处理，得到一128bit的摘要信息。这128位的摘要信息在计算过程中分成4个32bit的子信息，存储在4个buffer(A，B，C，D)中，它们初始化为固定常量。MD5算法然后使用每一个512bit的数据块去改变A，B，C，D中值，所有的数据处理完之后，把最终的A，B，C，D值拼接在一起，组成128bit的输出。处理每一块数据有四个类似的过程，每一个过程由16个相似的操作流组成，操作流中包括非线性函数，相加以及循环左移。MD5算法大致可分为以下几个步骤：

1.添加填充bit长度
（由于MD5算法分块处理，每次处理512bit的数据，需要填充长度来保证文本长度 % 512 = 0）
添加的长度信息主要有两个，一个是冗余信息（第一bit位位1，剩余bit位为0），添加改长度后保证此时的文件长度%512 = 448。接着再补上64bit长度，通常存放文件的初始长度信息。

• 假设1：文本原始长度 % 512 = 448
  这时候原始长度符合要求，但是根据填充规则，仍然要至少填1bit的 ‘1’，后面还剩63bit，不够添加长度，所以需要再加一块数据(512bit)，这样后面63bit填0，新加的数据前448bit填0，最后64bit填数据原始长度，一定要记住长度值是放在最后一块数据的最后64bit。
  
• 假设2：文本原始长度 % 512 < 448
  此时最后一块数据长度不大于440bit，最后64bit填数据长度，需要填充的bit数不小于8。
  
• 假设3：文本的原始长度 % 512 > 448
  此时最后一块数据长度不小于456，最多504，剩余bit不够添加64位长度，和假设1相同，需要增加一块数据，最后64位添加长度，其余填充0。
  
  **2.初始化MD Buffer（A B C D）**c

/*
用4-word buffer(A, B, C, D)计算摘要，这里A,B,C,D各为一个32bit的变量，这些变量初始化为下面的十六进制值，低字节在前：
word A: 01 23 45 67
word B: 89 ab cd ef
word C: fe dc ba 98
word D: 76 54 32 10
*/    
// 初始化A,B,C,D
_atemp = 0x67452301;
_btemp = 0xefcdab89;
_ctemp = 0x98badcfe;
_dtemp = 0x10325476;

3.按512位数据逐块处理输入信息
该算法每次处理的数据块大小为512bit，我们将每次处理的数据定为一个数据块，这个数据块需要经过4个函数（F,G,H,I）的处理，该函数的输入为4btye的数据，即32bit，得到一个32bit的输出值。
因此我们需要将512bit的数据块等分为16个32bit的数据，再输入到4个函数中，总共经过64步操作。

/*
F(x,y,z) = (x & y) | ((~x) & z)
G(x,y,z) = (x & z) | ( y & (~z))
H(x,y,z) = x ^ y ^ z
I(x,y,z) = y ^ (x | (~z))
*/

首先将ABCD四个数赋值给abcd。
F函数的作用如下：

F = F(b, c, d)
 
d = c
 
c =b 
 
b = b + shift((a + F + k[i] + chunk[g]), s[i])
 
a = d
/* 其中chunk[g]为输入的4个字节，
a为A的初始化数据；

F为将b,c,d带入F函数的输出值；

K[i]为处理过程中要用一个含有64个元素的表K[1......64]，表中的元素值由sin函数构建；
K[i]等于2^(32) * abs(sin(i))的整数部分  
for (int i = 0; i < 64; i++)
{
    _k[i] = (size_t)(abs(sin(i + 1)) * pow(2, 32));
}

s[i]为循环左移的次数
s[ 0..15] = { 7, 12, 17, 22,  7, 12, 17, 22,  7, 12, 17, 22,  7, 12, 17, 22 }
s[16..31] = { 5,  9, 14, 20,  5,  9, 14, 20,  5,  9, 14, 20,  5,  9, 14, 20 }
s[32..47] = { 4, 11, 16, 23,  4, 11, 16, 23,  4, 11, 16, 23,  4, 11, 16, 23 }
s[48..63] = { 6, 10, 15, 21,  6, 10, 15, 21,  6, 10, 15, 21,  6, 10, 15, 21 }

此时abcd发生改变，与F函数类似，再将abcd带入G,H,I三个函数，直到遍历完整个文章的512bit块，得到最终的abcd值。

G = G(b, c, d)
 
d = c
 
c =b 
 
b = b + shift((a + G + k[i] + chunk[g]), s[i])
 
a = d

H = H(b, c, d)
 
d = c
 
c =b 
 
b = b + shift((a + H + k[i] + chunk[g]), s[i])
 
a = d
 

I = I(b, c, d)
 
d = c
 
c =b 
 
b = b + shift((a + I + k[i] + chunk[g]), s[i])
 
a = d 

4.数字摘要输出
最终得到

/*
A = A + a;
B = B + b;
C = C + c;
D = D + d; 
*/

这一步拼接4个buffer(A，B，C，D)中的摘要信息，以A中的低位字节开始，D的高位字节结束。最终的输出是128bit摘要信息的16进制表示，故最后输出一个32长度的摘要信息。

/*比如一个数，它的16进制表示为： 0x23456789, 他所对应的8个摘要信息为从低位字节的89开始，高位字节的23结束，
即： 89674523 */