算法:
- 分块Checksum算法
- 传输算法
- checksum查找算法
- 比对算法
Adler-32 checksum
The function may be expressed as
A = 1 + D1 + D2 + ... + Dn (mod 65521)
B = (1 + D1) + (1 + D1 + D2) + ... + (1 + D1 + D2 + ... + Dn) (mod 65521) = n×D1 + (n−1)×D2 + (n−2)×D3 + ... + Dn + n (mod 65521)
Adler-32(D) = B × 65536 + A
where D is the string of bytes for which the checksum is to be calculated, and n is the length of D.
时间复杂度:O(n)->n代表字符串长度
MD5
String s = null;
//用来将字节转换成16进制表示的字符
char hexDigits[] = {'0', '1', '2', '3', '4', '5', '6', '7', '8', '9', 'A', 'B', 'C', 'D','E', 'F' };
java.security.MessageDigest md = java.security.MessageDigest.getInstance("MD5");
md.update(source);
byte datas[] = md.digest();
MD5 的计算结果是一个 128 位的长整数,用字节表示就是 16 个字节.
每个字节用 16 进制表示的话,使用两个字符, 所以表示成 16 进制需要 32 个字符.
char str[] = new char[16 * 2];
int k = 0;
// 从第一个字节开始,对 MD5 的每一个字节
// 转换成 16 进制字符的转换
for (int i = 0; i < 16; i++) {
byte b = datas[i]; // 取第 i 个字节
str[k++] = hexDigits[b >>> 4 & 0xf]; // 取字节中高 4 位的数字转换, >>> 为逻辑右移,将符号位一起右移
str[k++] = hexDigits[b & 0xf]; // 取字节中低 4 位的数字转换
}
s = new String(str); // 换后的结果转换为字符串
时间复杂度0(1)
Rsync算法
Remote端数据的处理
- 将Remote端的数据按照Chunck进行切分
- 计算每一个chunk的弱校验和与强校验和
- 保存进Map中,key为弱校验ID,value为chunk链表
Map