MD5 算法入门 --CLP

MD5(Message-Digest Algorithm 5)

--图片以及伪代码都源自维基百科

        MD5是一种广泛使用的散列单向算法，用于验证文件的完整性。对于任意大小的文件输入，将输出一个几乎唯一的128-bits的ID，通常用32个16进制数表示。MD5算法的核心是将文件扩充为N*512+448-bits长度再加以64位文件长度信息，讲处理后的文件分为（N+1）512-bits数据串，对每个数据串进行计算杂凑更新MD5值。其数学原理本人不明，间曰杂凑。唯一性也无法证明，但已被检验出碰撞。

算法流程如下：

0.初始化MD5值为4个32-bits长度数据，具体为：0x67452301, 0xEFCDAB89, 0x98BADCFE, 0x10325476

1.以二进制方式输入文件

2.将输入文件补充为N*512+448-bits长度。补充内容为以1开始重复0的二进制串。

3.将文件长度（位长，非字节）信息存放于文件最后64位，大于64位则只保留最低64位信息。低32位放前，高32位放后。形成（N+1）512-bits串。

4.对于步骤3中的所有串（每个串已处理为512-bits）执行以下步骤已更新MD5值 

 a）将512-bits串划分为64个16-bits长度数据

 b）对64个数据进行更新MD5值，进行如下操作，其中F函数顺序为如下具体如下图（64数据分为四组操作）

--源自维基百科

其中Mi为第i个数据，Ki为上述的Sin值，左旋S位。红色田符号是加号，所有数据均以无符号数据，忽略溢出问题。F函数为上述四个函数，具体以i选择

5.输出MD5值

伪代码如下：

//Note: All variables are unsigned 32 bits and wrap modulo 2^32 when calculating
var int[64] r, k
 
//r specifies the per-round shift amounts
r[ 0..15]：= {7, 12, 17, 22,  7, 12, 17, 22,  7, 12, 17, 22,  7, 12, 17, 22} 
r[16..31]：= {5,  9, 14, 20,  5,  9, 14, 20,  5,  9, 14, 20,  5,  9, 14, 20}
r[32..47]：= {4, 11, 16, 23,  4, 11, 16, 23,  4, 11, 16, 23,  4, 11, 16, 23}
r[48..63]：= {6, 10, 15, 21,  6, 10, 15, 21,  6, 10, 15, 21,  6, 10, 15, 21}
 
//Use binary integer part of the sines of integers as constants:
for i from 0 to 63
    k[i] := floor(abs(sin(i + 1)) × 2^32)
 
//Initialize variables:
var int h0 := 0x67452301
var int h1 := 0xEFCDAB89
var int h2 := 0x98BADCFE
var int h3 := 0x10325476
 
//Pre-processing:
append "1" bit to message
append "0" bits until message length in bits ≡ 448 (mod 512)
append bit length of message as 64-bit little-endian integer to message
 
//Process the message in successive 512-bit chunks:
for each 512-bit chunk of message
    break chunk into sixteen 32-bit little-endian words w[i], 0 ≤ i ≤ 15
 
    //Initialize hash value for this chunk:
    var int a := h0
    var int b := h1
    var int c := h2
    var int d := h3
 
    //Main loop:
    for i from 0 to 63
        if 0 ≤ i ≤ 15 then
            f := (b and c) or ((not b) and d)
            g := i
        else if 16 ≤ i ≤ 31
            f := (d and b) or ((not d) and c)
            g := (5×i + 1) mod 16
        else if 32 ≤ i ≤ 47
            f := b xor c xor d
            g := (3×i + 5) mod 16
        else if 48 ≤ i ≤ 63
            f := c xor (b or (not d))
            g := (7×i) mod 16
 
        temp := d
        d := c
        c := b
        b := leftrotate((a + f + k[i] + w[g]),r[i])) + b
        a := temp
 
    //Add this chunk's hash to result so far:
    h0 := h0 + a
    h1 := h1 + b 
    h2 := h2 + c
    h3 := h3 + d
 
var int digest := h0 append h1 append h2 append h3 //(expressed as little-endian)

--源自维基百科

细节问题（大家比较关注的）：

0.注意左旋而不是左移
1.算法都为bits长度单位，但计算机里面经常使用的是byte，即8位，所以计算应注意。
2.所有数据以小端存储。比如64位的长度信息若为1234567887654321H，则应存为0x78563412 0x21436587
3.对于MD5值以及文件子串（512-bits信息）转化为数值（必须是无符号数值比如C中的32位的 unsigned long）都必须以小端规则进行转换。
4.注意int的跨平台长度不同，最好使用稳定的long

以下为C/C++语言专用
5.在优化性能上，建议将所有的位置信息以及K值（k[i] = floor(abs(sin(i + 1)) × 2^32)）先保存，否则重复计算将极大的降低效率
6.对于MD5中所有的求余、求整、乘计算，基本是2的指数，建议直接使用位操作，将提升速度。
  比如除64求余：(long)(i & 0x3f) 除64求整: (long)(i >> 6) 乘64: (long)(i << 6)
7.注意长度信息必须是位，即lengthOfChar << 3，注意溢出必须向上进位（指高位和低位）
8.内存操作必须注意，具体需要个人意识，具体则是需要自己在程序中定义一个buffer，或者双线程操作双buffer，但必须有序

等交了作业将会更新上本人的代码。某web安全课程的同学明白我说的是什么。

贡献一下本人处理好的数据：

//Sins numbers
const uint32 kSins[64] = { 0xd76aa478, 0xe8c7b756, 0x242070db, 0xc1bdceee, 
0xf57c0faf, 0x4787c62a, 0xa8304613, 0xfd469501, 
0x698098d8, 0x8b44f7af, 0xffff5bb1, 0x895cd7be, 
0x6b901122, 0xfd987193, 0xa679438e, 0x49b40821, 
0xf61e2562, 0xc040b340, 0x265e5a51, 0xe9b6c7aa, 
0xd62f105d, 0x02441453, 0xd8a1e681, 0xe7d3fbc8, 
0x21e1cde6, 0xc33707d6, 0xf4d50d87, 0x455a14ed, 
0xa9e3e905, 0xfcefa3f8, 0x676f02d9, 0x8d2a4c8a, 
0xfffa3942, 0x8771f681, 0x6d9d6122, 0xfde5380c, 
0xa4beea44, 0x4bdecfa9, 0xf6bb4b60, 0xbebfbc70, 
0x289b7ec6, 0xeaa127fa, 0xd4ef3085, 0x04881d05, 
0xd9d4d039, 0xe6db99e5, 0x1fa27cf8, 0xc4ac5665, 
0xf4292244, 0x432aff97, 0xab9423a7, 0xfc93a039, 
0x655b59c3, 0x8f0ccc92, 0xffeff47d, 0x85845dd1, 
0x6fa87e4f, 0xfe2ce6e0, 0xa3014314, 0x4e0811a1,
0xf7537e82, 0xbd3af235, 0x2ad7d2bb, 0xeb86d391};