为什么需要checksum？

在网络传输中，传输一些数据或者文件，都可能出现数据丢失或者被篡改的情况，所以就需要对传输的数据或者文件内容进行验证，常有的做法是使用校验和(checksum)，先保存一份数据的checksum值到数据库，然后传输过程对数据重新计算checksum值，两个值进行对比，如果一样，说明没有丢失文件内容，也可以说两个文件是一样的。所以checksum不仅可以用来校验网络传输有没有丢包，也可以用来校验上传的两个文件是不是一样的。

什么是checksum？

校验和(checksum)，是应用于网络传输中校验数据完整性一种常见方法，以检查是否已收到完整的消息。有几种常见的校验和生成算法，例如 Adler32 和 CRC32，当然也可以使用MD5、哈希函数算法SHA256等等来生成checksum值

在java中实现checksum

在java中实现checksum可以使用jdk提供的CRC32来实现，而对于文件的，可以使用CheckedInputStream来处理文件流，提高处理效率

package com.test.util;


import lombok.extern.slf4j.Slf4j;

import java.io.IOException;
import java.io.InputStream;
import java.net.URL;
import java.util.zip.CRC32;
import java.util.zip.CheckedInputStream;
import java.util.zip.Checksum;

@Slf4j
public class ChecksumUtil {

     /**
     * 获取checksum值
     *
     * @Date 2024/07/31 17:05
     * @Param [stream, bufferSize]
     * @return long
     */
    public static long getChecksumCRC32(byte[] bytes) {
        Long checksum = null;
        try {
            Checksum crc32 = new CRC32();
            crc32.update(bytes, 0, bytes.length);
            checksum = crc32.getValue();
        } catch (Exception e) {
            log.error("getChecksumCRC32 exception:{}", e);
        }
        return checksum;

    }

     /**
     * 获取checksum值，文件方式
     *
     * @Date 2024/07/31 17:05
     * @Param [stream, bufferSize]
     * @return long
     */
    public static long getChecksumCRC32(InputStream stream, int bufferSize) throws IOException {
        CheckedInputStream checkedInputStream = new CheckedInputStream(stream, new CRC32());
        byte[] buffer = new byte[bufferSize];
        while (checkedInputStream.read(buffer, 0, buffer.length) >= 0) {}
        long checkSum = checkedInputStream.getChecksum().getValue();
        stream.close();
        checkedInputStream.close();
        return checkSum;
    }
	
     /**
     * 获取checksum值，url是远程文件的url
     *
     * @Date 2024/07/31 17:05
     * @Param [stream, bufferSize]
     * @return long
     */
    public static long getChecksumCRC32(String url, int bufferSize){
        Long checksum = null;
        try {
            InputStream fileInputStream = new URL(url).openStream();
            checksum = getChecksumCRC32(fileInputStream, bufferSize);
            return checksum;
        } catch (Exception e) {
            log.error("getChecksumCRC32 exception:{}", e);
        }
        return checksum;
    }
    
}
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.
  • 18.
  • 19.
  • 20.
  • 21.
  • 22.
  • 23.
  • 24.
  • 25.
  • 26.
  • 27.
  • 28.
  • 29.
  • 30.
  • 31.
  • 32.
  • 33.
  • 34.
  • 35.
  • 36.
  • 37.
  • 38.
  • 39.
  • 40.
  • 41.
  • 42.
  • 43.
  • 44.
  • 45.
  • 46.
  • 47.
  • 48.
  • 49.
  • 50.
  • 51.
  • 52.
  • 53.
  • 54.
  • 55.
  • 56.
  • 57.
  • 58.
  • 59.
  • 60.
  • 61.
  • 62.
  • 63.
  • 64.
  • 65.
  • 66.
  • 67.
  • 68.
  • 69.
  • 70.
  • 71.
  • 72.

测试一下文本和文件的checksum获取

@Test
public void test01() {
    String content = "123456";
    long textChecksum = ChecksumUtil.getChecksumCRC32(content.getBytes());
    String fileUrl = "http://test.com/1.jpeg";
	long fileChecksum = ChecksumUtil.getChecksumCRC32(fileUrl,4096);

}
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.

也可以使用md5、sha-256等算法，获取摘要的值

package com.test.util;


import cn.hutool.core.util.StrUtil;
import cn.hutool.http.HttpUtil;
import lombok.extern.slf4j.Slf4j;
import org.apache.tomcat.util.buf.HexUtils;

import java.io.IOException;
import java.security.MessageDigest;
import java.security.NoSuchAlgorithmException;

@Slf4j
public class ChecksumUtil {

    public static final String MD5 = "MD5";
    public static final String SHA1 = "SHA-1";
    public static final String SHA256 = "SHA-256";

    
    public static String getChecksum(byte[] buffer, String algorithm) {
        String checksum = StrUtil.EMPTY;
        try {
            MessageDigest messageDigest = MessageDigest.getInstance(algorithm);
            messageDigest.update(buffer);
            byte[] digested = messageDigest.digest();
            checksum = HexUtils.toHexString(digested);
        } catch (Exception e) {
            if (e instanceof NoSuchAlgorithmException) {
                log.error("noSuchAlgorithm exception:{}", e);
            } else {
                log.error("getChecksum exception:{}", e);
            }
        }
        return checksum;
    }

    public static String getChecksum(String url, String algorithm) {
        String checksum = StrUtil.EMPTY;
        try {
            byte[] buffer = HttpUtil.downloadBytes(url);
            checksum = getChecksum(buffer, algorithm);
        } catch (Exception e) {
            if (e instanceof IOException) {
                log.error("ioException:{}", e);
            } else {
                log.error("getChecksum exception:{}", e);
            }
        }
        return checksum;
    }



}
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.
  • 18.
  • 19.
  • 20.
  • 21.
  • 22.
  • 23.
  • 24.
  • 25.
  • 26.
  • 27.
  • 28.
  • 29.
  • 30.
  • 31.
  • 32.
  • 33.
  • 34.
  • 35.
  • 36.
  • 37.
  • 38.
  • 39.
  • 40.
  • 41.
  • 42.
  • 43.
  • 44.
  • 45.
  • 46.
  • 47.
  • 48.
  • 49.
  • 50.
  • 51.
  • 52.
  • 53.
  • 54.
  • 55.

测试一下checksum获取

public void test02() {
      String checksum = ChecksumUtil.getChecksum(String fileUrl = "http://test.com/1.jpeg";
, ChecksumUtil.MD5);
          
      String checksum = ChecksumUtil.getChecksum("123456".getBytes(), ChecksumUtil.MD5);
}
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.