- 最近在研究怎么实现服务器上的文件去重,目前思路是:上传文件时判断该文件的md5是否已在数据库中,若不存在,则保存当前文件的md5值,并上传文件。若已存在则跳过上传文件,这样实现文件服务器上去重
随后研究了下java获得文件MD5值的流程,如图
源码如下:
public void getMd5(@RequestParam(name = "file") MultipartFile file) throws Exception{
MessageDigest messageDigest = MessageDigest.getInstance("md5");
String md5 = Base64.getEncoder().encodeToString(messageDigest.digest(file.getBytes()));
System.out.println(md5);
}
MessageDigest.java
public byte[] digest(byte[] input) {
update(input);
return digest();
}
public void update(byte[] input) {
engineUpdate(input, 0, input.length);
state = IN_PROGRESS;
}
public byte[] digest() {
/* Resetting is the responsibility of implementors. */
byte[] result = engineDigest();
state = INITIAL;
return result;
}
Base64.java
public String encodeToString(byte[] src) {
byte[] encoded = encode(src);
return new String(encoded, 0, 0, encoded.length);
}
String.java
public String(byte ascii[], int hibyte, int offset, int count) {
checkBounds(ascii, offset, count);
char value[] = new char[count];
if (hibyte == 0) {
for (int i = count; i-- > 0;) {
value[i] = (char)(ascii[i + offset] & 0xff);
}
} else {
hibyte <<= 8;
for (int i = count; i-- > 0;) {
value[i] = (char)(hibyte | (ascii[i + offset] & 0xff));
}
}
this.value = value;
}
这里涉及到一个Base64算法,Base64算法会6位转换,其他的字节数则是8位
Base64是一种基于64个可打印字符来表示二进制数据的表示方法。1个字节8个比特,3个字节相当于24个比特。Base64中,每6个比特为一个单元,对应某个可打印字符。所以每3个字节对应于4个Base64单元,即3个字节可由4个可打印字符来表示。它可用来作为电子邮件的传输编码。在Base64中的可打印字符包括字母A-Z、a-z、数字0-9,这样共有62个字符,此外两个可打印符号在不同的系统中而不同。一些如uuencode的其他编码方法,和之后BinHex的版本使用不同的64字符集来代表6个二进制数字,但是不被称为Base64。
Base64常用于在通常处理文本数据的场合,表示、传输、存储一些二进制数据,包括MIME的电子邮件及XML的一些复杂数据。