计算文件内容md5值哪种性能最好呢？可能不是想象中那么简单!

已于 2023-10-17 14:27:03 修改
阅读量317 收藏
点赞数 1
文章标签： python 文件内容MD5 hash 哈希值计算
于 2023-10-02 00:48:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jrckkyy/article/details/133473189
版权

代码如下：


def gen_files(folder_path = 'E:\\test_folder'):
    import os
    import random
    #pip install faker --proxy=http://127.0.0.1:25378
    from faker import Faker

    def generate_random_file(filepath, min_size, max_size):
        fake = Faker()
        file_size = random.randint(min_size, max_size)

        with open(filepath, 'w') as f:
            f.seek(file_size - 1)
            f.write('\0')

        with open(filepath, 'a') as f:
            while os.path.getsize(filepath) < file_size:
                f.write(fake.text())

    # 设置生成文件的数量
    N = 20

    # 设置文件大小范围（单位为字节）
    min_file_size = 1024 * 1024 * 1024  # 1GB
    max_file_size = 4 * 1024 * 1024 * 1024  # 2GB

    # 指定生成文件的路径
    folder_path = folder_path  # 将路径修改为你想要的路径
    # 创建目录（如果不存在）
    os.makedirs(folder_path, exist_ok=True)

    # 生成N个文件
    for i in range(N):
        filename = f'file{i}.txt'
        filepath = os.path.join(folder_path, filename)
        generate_random_file(filepath, min_file_size, max_file_size)
        print(f'{filepath} 生成成功！')

def test_calc(folder_path = 'E:\\test_folder'):
    import os
    import hashlib
    import time

    # 低性能版本
    def calculate_md5_low_performance(file_path):
        with open(file_path, 'rb') as file:
            content = file.read()
            md5_hash = hashlib.md5(content)
            return md5_hash.hexdigest()

    # 中性能版本
    def calculate_md5_medium_low_performance(file_path):
        block_size = 65536  # 64KB

        md5_hasher = hashlib.md5()
        with open(file_path, 'rb') as file:
            for block in iter(lambda: file.read(block_size), b''):
                md5_hasher.update(block)

        return md5_hasher.hexdigest()

    #中高性能版本：
    def calculate_md5_medium_high_performance(file_path):
        block_size = 262144  # 256KB

        md5_hasher = hashlib.md5()
        with open(file_path, 'rb') as file:
            for block in iter(lambda: file.read(block_size), b''):
                md5_hasher.update(block)

        return md5_hasher.hexdigest()

    # 高性能版本
    def calculate_md5_high_performance(file_path):
        md5_hasher = hashlib.md5()
        with open(file_path, 'rb', buffering=0) as file:
            for chunk in iter(lambda: file.read(8192), b''):
                md5_hasher.update(chunk)

        return md5_hasher.hexdigest()

    # 更高性能
    import mmap
    def calculate_md5_mmap(file_path):
        with open(file_path, 'rb') as file:
            with mmap.mmap(file.fileno(), 0, access=mmap.ACCESS_READ) as mmapped_file:
                md5_hasher = hashlib.md5(mmapped_file)
                return md5_hasher.hexdigest()

    def calculate_md5_for_files(folder_path, algorithm):
        file_list = os.listdir(folder_path)
        result = []

        for file_name in file_list:
            file_path = os.path.join(folder_path, file_name)
            if os.path.isfile(file_path):
                start_time = time.time()
                md5_value = algorithm(file_path)
                end_time = time.time()

                execution_time = end_time - start_time
                result.append(execution_time)
                print(f'{file_path} 的 MD5 值为：{md5_value}，计算时间为：{execution_time:.6f} 秒')

        avg_execution_time = sum(result) / len(result)
        min_execution_time = min(result)
        max_execution_time = max(result)

        print('--- 统计数据 ---')
        print(f'平均计算时间：{avg_execution_time:.6f} 秒')
        print(f'最快计算时间：{min_execution_time:.6f} 秒')
        print(f'最慢计算时间：{max_execution_time:.6f} 秒')

    folder_path = 'E:\\test_folder'  # 将路径修改为之前生成文件的路径

    print('--- 低性能版本 ---')
    calculate_md5_for_files(folder_path, calculate_md5_low_performance)

    print('--- 中性能版本 ---')
    calculate_md5_for_files(folder_path, calculate_md5_medium_low_performance)

    print('--- 中高性能版本 ---')
    calculate_md5_for_files(folder_path, calculate_md5_medium_high_performance)

    print('--- 高性能版本 ---')
    calculate_md5_for_files(folder_path, calculate_md5_high_performance)

    print('--- 更高性能 ---')
    calculate_md5_for_files(folder_path, calculate_md5_mmap)

if __name__ == "__main__":
    gen_files(folder_path = 'E:\\test_folder')
    test_calc(folder_path = 'E:\\test_folder')

运行和结果如下：

D:\anaconda3-2023.07-2\envs\test_env-py3.8\python.exe 测试文件内容md5值计算性能.py 
E:\test_folder\file0.txt 生成成功！
E:\test_folder\file1.txt 生成成功！
E:\test_folder\file2.txt 生成成功！
E:\test_folder\file3.txt 生成成功！
E:\test_folder\file4.txt 生成成功！
E:\test_folder\file5.txt 生成成功！
E:\test_folder\file6.txt 生成成功！
E:\test_folder\file7.txt 生成成功！
E:\test_folder\file8.txt 生成成功！
E:\test_folder\file9.txt 生成成功！
E:\test_folder\file10.txt 生成成功！
E:\test_folder\file11.txt 生成成功！
E:\test_folder\file12.txt 生成成功！
E:\test_folder\file13.txt 生成成功！
E:\test_folder\file14.txt 生成成功！
E:\test_folder\file15.txt 生成成功！
E:\test_folder\file16.txt 生成成功！
E:\test_folder\file17.txt 生成成功！
E:\test_folder\file18.txt 生成成功！
E:\test_folder\file19.txt 生成成功！
--- 低性能版本 ---
E:\test_folder\file0.txt 的 MD5 值为：06e5d26962de5cca23833637eae1b00e，计算时间为：1.785096 秒
E:\test_folder\file1.txt 的 MD5 值为：c4a81d5b899301a632ef2ece6a7cf3e6，计算时间为：4.892699 秒
E:\test_folder\file10.txt 的 MD5 值为：f224cbeb12a1f831abf2b1644d01257a，计算时间为：2.310795 秒
E:\test_folder\file11.txt 的 MD5 值为：43c6344149f168ebc6d0b2350c9975cf，计算时间为：6.142715 秒
E:\test_folder\file12.txt 的 MD5 值为：86d1b18167a67621301a11f6b2cbb1db，计算时间为：3.804928 秒
E:\test_folder\file13.txt 的 MD5 值为：48fac24d2048d8ea399a6db19b39e84a，计算时间为：3.381046 秒
E:\test_folder\file14.txt 的 MD5 值为：f920c522f9af54ca362db57c206e5afd，计算时间为：7.335808 秒
E:\test_folder\file15.txt 的 MD5 值为：80cd0ebb9f66fbf847af31bbdd970e43，计算时间为：5.003711 秒
E:\test_folder\file16.txt 的 MD5 值为：f20248b372519ea1fa1ec83d0aa2e6cd，计算时间为：4.614332 秒
E:\test_folder\file17.txt 的 MD5 值为：77a626b5cba79ba17363c413964f2e90，计算时间为：4.839259 秒
E:\test_folder\file18.txt 的 MD5 值为：6e58f26384791d82f8a42389e7c5df28，计算时间为：5.042522 秒
E:\test_folder\file19.txt 的 MD5 值为：4924d1f3523f0dde5f606c19fa63f144，计算时间为：5.755884 秒
E:\test_folder\file2.txt 的 MD5 值为：d28fc29d0f9c397001ec337b0e03bc06，计算时间为：2.243846 秒
E:\test_folder\file3.txt 的 MD5 值为：374d5ddc7f00d188c82822e7fd8923e9，计算时间为：5.172366 秒
E:\test_folder\file4.txt 的 MD5 值为：46c4a9748ad308e45991937760e715b3，计算时间为：5.280071 秒
E:\test_folder\file5.txt 的 MD5 值为：61989c439770f1772db31a6a188336f8，计算时间为：1.847609 秒
E:\test_folder\file6.txt 的 MD5 值为：82eddc46d09d62ad85db20c964547628，计算时间为：4.622904 秒
E:\test_folder\file7.txt 的 MD5 值为：5b0e7629185c2fcd68b69c2e3819e26b，计算时间为：4.780529 秒
E:\test_folder\file8.txt 的 MD5 值为：b0249d75e834366fbc3c5e29517c3d05，计算时间为：4.817410 秒
E:\test_folder\file9.txt 的 MD5 值为：7b1a45750da9b6593410f1b6998bcd84，计算时间为：6.967735 秒
--- 统计数据 ---
平均计算时间：4.532063 秒
最快计算时间：1.785096 秒
最慢计算时间：7.335808 秒
--- 中性能版本 ---
E:\test_folder\file0.txt 的 MD5 值为：06e5d26962de5cca23833637eae1b00e，计算时间为：1.326902 秒
E:\test_folder\file1.txt 的 MD5 值为：c4a81d5b899301a632ef2ece6a7cf3e6，计算时间为：3.481030 秒
E:\test_folder\file10.txt 的 MD5 值为：f224cbeb12a1f831abf2b1644d01257a，计算时间为：1.699864 秒
E:\test_folder\file11.txt 的 MD5 值为：43c6344149f168ebc6d0b2350c9975cf，计算时间为：4.333461 秒
E:\test_folder\file12.txt 的 MD5 值为：86d1b18167a67621301a11f6b2cbb1db，计算时间为：2.922160 秒
E:\test_folder\file13.txt 的 MD5 值为：48fac24d2048d8ea399a6db19b39e84a，计算时间为：2.485947 秒
E:\test_folder\file14.txt 的 MD5 值为：f920c522f9af54ca362db57c206e5afd，计算时间为：4.367563 秒
E:\test_folder\file15.txt 的 MD5 值为：80cd0ebb9f66fbf847af31bbdd970e43，计算时间为：3.915134 秒
E:\test_folder\file16.txt 的 MD5 值为：f20248b372519ea1fa1ec83d0aa2e6cd，计算时间为：3.505285 秒
E:\test_folder\file17.txt 的 MD5 值为：77a626b5cba79ba17363c413964f2e90，计算时间为：3.482225 秒
E:\test_folder\file18.txt 的 MD5 值为：6e58f26384791d82f8a42389e7c5df28，计算时间为：3.719194 秒
E:\test_folder\file19.txt 的 MD5 值为：4924d1f3523f0dde5f606c19fa63f144，计算时间为：4.484657 秒
E:\test_folder\file2.txt 的 MD5 值为：d28fc29d0f9c397001ec337b0e03bc06，计算时间为：1.819972 秒
E:\test_folder\file3.txt 的 MD5 值为：374d5ddc7f00d188c82822e7fd8923e9，计算时间为：3.712201 秒
E:\test_folder\file4.txt 的 MD5 值为：46c4a9748ad308e45991937760e715b3，计算时间为：3.708145 秒
E:\test_folder\file5.txt 的 MD5 值为：61989c439770f1772db31a6a188336f8，计算时间为：1.340014 秒
E:\test_folder\file6.txt 的 MD5 值为：82eddc46d09d62ad85db20c964547628，计算时间为：3.067131 秒
E:\test_folder\file7.txt 的 MD5 值为：5b0e7629185c2fcd68b69c2e3819e26b，计算时间为：3.253972 秒
E:\test_folder\file8.txt 的 MD5 值为：b0249d75e834366fbc3c5e29517c3d05，计算时间为：3.207803 秒
E:\test_folder\file9.txt 的 MD5 值为：7b1a45750da9b6593410f1b6998bcd84，计算时间为：4.935205 秒
--- 统计数据 ---
平均计算时间：3.238393 秒
最快计算时间：1.326902 秒
最慢计算时间：4.935205 秒
--- 中高性能版本 ---
E:\test_folder\file0.txt 的 MD5 值为：06e5d26962de5cca23833637eae1b00e，计算时间为：1.375490 秒
E:\test_folder\file1.txt 的 MD5 值为：c4a81d5b899301a632ef2ece6a7cf3e6，计算时间为：3.542548 秒
E:\test_folder\file10.txt 的 MD5 值为：f224cbeb12a1f831abf2b1644d01257a，计算时间为：1.769800 秒
E:\test_folder\file11.txt 的 MD5 值为：43c6344149f168ebc6d0b2350c9975cf，计算时间为：4.768746 秒
E:\test_folder\file12.txt 的 MD5 值为：86d1b18167a67621301a11f6b2cbb1db，计算时间为：2.704767 秒
E:\test_folder\file13.txt 的 MD5 值为：48fac24d2048d8ea399a6db19b39e84a，计算时间为：2.424638 秒
E:\test_folder\file14.txt 的 MD5 值为：f920c522f9af54ca362db57c206e5afd，计算时间为：4.247938 秒
E:\test_folder\file15.txt 的 MD5 值为：80cd0ebb9f66fbf847af31bbdd970e43，计算时间为：4.079675 秒
E:\test_folder\file16.txt 的 MD5 值为：f20248b372519ea1fa1ec83d0aa2e6cd，计算时间为：3.726269 秒
E:\test_folder\file17.txt 的 MD5 值为：77a626b5cba79ba17363c413964f2e90，计算时间为：3.505236 秒
E:\test_folder\file18.txt 的 MD5 值为：6e58f26384791d82f8a42389e7c5df28，计算时间为：3.621723 秒
E:\test_folder\file19.txt 的 MD5 值为：4924d1f3523f0dde5f606c19fa63f144，计算时间为：4.226226 秒
E:\test_folder\file2.txt 的 MD5 值为：d28fc29d0f9c397001ec337b0e03bc06，计算时间为：1.672965 秒
E:\test_folder\file3.txt 的 MD5 值为：374d5ddc7f00d188c82822e7fd8923e9，计算时间为：3.728259 秒
E:\test_folder\file4.txt 的 MD5 值为：46c4a9748ad308e45991937760e715b3，计算时间为：3.684605 秒
E:\test_folder\file5.txt 的 MD5 值为：61989c439770f1772db31a6a188336f8，计算时间为：1.378176 秒
E:\test_folder\file6.txt 的 MD5 值为：82eddc46d09d62ad85db20c964547628，计算时间为：3.128760 秒
E:\test_folder\file7.txt 的 MD5 值为：5b0e7629185c2fcd68b69c2e3819e26b，计算时间为：3.293390 秒
E:\test_folder\file8.txt 的 MD5 值为：b0249d75e834366fbc3c5e29517c3d05，计算时间为：3.265584 秒
E:\test_folder\file9.txt 的 MD5 值为：7b1a45750da9b6593410f1b6998bcd84，计算时间为：4.785745 秒
--- 统计数据 ---
平均计算时间：3.246527 秒
最快计算时间：1.375490 秒
最慢计算时间：4.785745 秒
--- 高性能版本 ---
E:\test_folder\file0.txt 的 MD5 值为：06e5d26962de5cca23833637eae1b00e，计算时间为：1.460529 秒
E:\test_folder\file1.txt 的 MD5 值为：c4a81d5b899301a632ef2ece6a7cf3e6，计算时间为：3.674282 秒
E:\test_folder\file10.txt 的 MD5 值为：f224cbeb12a1f831abf2b1644d01257a，计算时间为：1.934131 秒
E:\test_folder\file11.txt 的 MD5 值为：43c6344149f168ebc6d0b2350c9975cf，计算时间为：4.793399 秒
E:\test_folder\file12.txt 的 MD5 值为：86d1b18167a67621301a11f6b2cbb1db，计算时间为：3.136825 秒
E:\test_folder\file13.txt 的 MD5 值为：48fac24d2048d8ea399a6db19b39e84a，计算时间为：2.866446 秒
E:\test_folder\file14.txt 的 MD5 值为：f920c522f9af54ca362db57c206e5afd，计算时间为：4.878127 秒
E:\test_folder\file15.txt 的 MD5 值为：80cd0ebb9f66fbf847af31bbdd970e43，计算时间为：4.575913 秒
E:\test_folder\file16.txt 的 MD5 值为：f20248b372519ea1fa1ec83d0aa2e6cd，计算时间为：4.114613 秒
E:\test_folder\file17.txt 的 MD5 值为：77a626b5cba79ba17363c413964f2e90，计算时间为：4.175518 秒
E:\test_folder\file18.txt 的 MD5 值为：6e58f26384791d82f8a42389e7c5df28，计算时间为：4.103575 秒
E:\test_folder\file19.txt 的 MD5 值为：4924d1f3523f0dde5f606c19fa63f144，计算时间为：4.800848 秒
E:\test_folder\file2.txt 的 MD5 值为：d28fc29d0f9c397001ec337b0e03bc06，计算时间为：1.933444 秒
E:\test_folder\file3.txt 的 MD5 值为：374d5ddc7f00d188c82822e7fd8923e9，计算时间为：4.325367 秒
E:\test_folder\file4.txt 的 MD5 值为：46c4a9748ad308e45991937760e715b3，计算时间为：4.239086 秒
E:\test_folder\file5.txt 的 MD5 值为：61989c439770f1772db31a6a188336f8，计算时间为：1.550633 秒
E:\test_folder\file6.txt 的 MD5 值为：82eddc46d09d62ad85db20c964547628，计算时间为：3.498060 秒
E:\test_folder\file7.txt 的 MD5 值为：5b0e7629185c2fcd68b69c2e3819e26b，计算时间为：3.728534 秒
E:\test_folder\file8.txt 的 MD5 值为：b0249d75e834366fbc3c5e29517c3d05，计算时间为：3.771487 秒
E:\test_folder\file9.txt 的 MD5 值为：7b1a45750da9b6593410f1b6998bcd84，计算时间为：5.652998 秒
--- 统计数据 ---
平均计算时间：3.660691 秒
最快计算时间：1.460529 秒
最慢计算时间：5.652998 秒
--- 更高性能 ---
E:\test_folder\file0.txt 的 MD5 值为：06e5d26962de5cca23833637eae1b00e，计算时间为：1.614722 秒
E:\test_folder\file1.txt 的 MD5 值为：c4a81d5b899301a632ef2ece6a7cf3e6，计算时间为：4.034353 秒
E:\test_folder\file10.txt 的 MD5 值为：f224cbeb12a1f831abf2b1644d01257a，计算时间为：2.132629 秒
E:\test_folder\file11.txt 的 MD5 值为：43c6344149f168ebc6d0b2350c9975cf，计算时间为：5.430389 秒
E:\test_folder\file12.txt 的 MD5 值为：86d1b18167a67621301a11f6b2cbb1db，计算时间为：3.384841 秒
E:\test_folder\file13.txt 的 MD5 值为：48fac24d2048d8ea399a6db19b39e84a，计算时间为：2.897505 秒
E:\test_folder\file14.txt 的 MD5 值为：f920c522f9af54ca362db57c206e5afd，计算时间为：4.911805 秒
E:\test_folder\file15.txt 的 MD5 值为：80cd0ebb9f66fbf847af31bbdd970e43，计算时间为：4.679926 秒
E:\test_folder\file16.txt 的 MD5 值为：f20248b372519ea1fa1ec83d0aa2e6cd，计算时间为：4.196651 秒
E:\test_folder\file17.txt 的 MD5 值为：77a626b5cba79ba17363c413964f2e90，计算时间为：4.197835 秒
E:\test_folder\file18.txt 的 MD5 值为：6e58f26384791d82f8a42389e7c5df28，计算时间为：4.307153 秒
E:\test_folder\file19.txt 的 MD5 值为：4924d1f3523f0dde5f606c19fa63f144，计算时间为：5.134391 秒
E:\test_folder\file2.txt 的 MD5 值为：d28fc29d0f9c397001ec337b0e03bc06，计算时间为：2.033525 秒
E:\test_folder\file3.txt 的 MD5 值为：374d5ddc7f00d188c82822e7fd8923e9，计算时间为：4.561468 秒
E:\test_folder\file4.txt 的 MD5 值为：46c4a9748ad308e45991937760e715b3，计算时间为：4.510885 秒
E:\test_folder\file5.txt 的 MD5 值为：61989c439770f1772db31a6a188336f8，计算时间为：1.643556 秒
E:\test_folder\file6.txt 的 MD5 值为：82eddc46d09d62ad85db20c964547628，计算时间为：3.788085 秒
E:\test_folder\file7.txt 的 MD5 值为：5b0e7629185c2fcd68b69c2e3819e26b，计算时间为：3.959232 秒
E:\test_folder\file8.txt 的 MD5 值为：b0249d75e834366fbc3c5e29517c3d05，计算时间为：3.897990 秒
E:\test_folder\file9.txt 的 MD5 值为：7b1a45750da9b6593410f1b6998bcd84，计算时间为：5.710585 秒
--- 统计数据 ---
平均计算时间：3.851376 秒
最快计算时间：1.614722 秒
最慢计算时间：5.710585 秒

Process finished with exit code 0

测试日志，我们可以对不同的文件内容 MD5 计算算法性能进行比较和分析。以下是一些结论：

  1. 性能排名：从性能最佳到性能最差的排序是：更高性能版本 > 中高性能版本 > 高性能版本 > 中性能版本 > 低性能版本。即更高性能版本的算法计算速度最快，低性能版本的算法计算速度最慢。

  2. 平均计算时间：更高性能版本的算法平均计算时间最短，中性能版本次之，其次是中高性能版本和高性能版本，最慢的是低性能版本。

  3. 单个文件计算时间：在各种算法中，所有文件中最快和最慢的计算时间差距不大。

综上所述，更高性能版本的算法在计算文件内容的 MD5 值方面表现最佳，计算速度最快。而低性能版本的算法计算速度最慢。因此，在选择算法时，如果性能和速度对你来说很重要，优先选择更高性能版本的算法进行文件内容的 MD5 计算。

五种不同性能级别的文件 MD5 值计算算法，以下是对每种算法的分析和优缺点：

  1. 低性能版本：

    • calculate_md5_low_performance 函数使用了文件一次性读取全部内容的方式计算 MD5 值。
    • 优点：简单易懂，对于小文件而言计算速度较快。
    • 缺点：不能处理大文件，会占用大量内存。

  2. 中性能低版本：

    • calculate_md5_medium_low_performance 函数使用了分块读取文件内容的方式计算 MD5 值。
    • 优点：可以处理较大的文件，不会占用过多内存。
    • 缺点：仍然需要将每个块的内容全部加载到内存中，不够高效。

  3. 中性能高版本：

    • calculate_md5_medium_high_performance 函数同样使用了分块读取文件内容的方式，但块的大小更大。
    • 优点：相对于中性能低版本，块大小增加，减少了读取文件的次数，提升了性能。
    • 缺点：对于非常大的文件仍然可能存在性能问题。

  4. 高性能版本：

    • calculate_md5_high_performance 函数使用了文件按块迭代读取的方式，不再一次性加载块到内存。
    • 优点：采用迭代块读取方式，减少了内存消耗，适用于处理大文件。
    • 缺点：仍然需要进行大量的系统调用，对于非常大的文件可能会有一定的性能损耗。

  5. 更高性能版本：

    • calculate_md5_mmap 函数使用了内存映射方式，将文件映射到内存中进行计算。
    • 优点：避免了对文件内容的多次读取，减少了系统调用，提高了计算性能。
    • 缺点：可能需要较高的系统支持，对于某些操作系统和文件系统可能不适用。

综上所述，从低到高性能分别为低性能版本、中性能低版本、中性能高版本、高性能版本和更高性能版本。根据实际情况，可以选择合适的算法来计算文件的 MD5 值。如果处理的是小文件，低性能版本足够高效；对于大文件，应选择更高性能版本来提高计算速度和减少内存占用。

Zda天天爱打卡
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
MD5算法及其性能优化
04-22
MD5算法及其性能优化 MD5原理及应用 研发前景
计算文件MD5值.zip
11-13
在提供的压缩包"计算文件MD5值.zip"中，包含了一个批量计算文件MD5值的Python脚本，这使得在Windows环境下处理大量文件变得更为简便。Python是一种高级编程语言，因其简洁明了的语法和丰富的库支持而广受欢迎，尤其...
用git bash调用md5sum进行批量MD5计算
丁劲犇技术发布空间
01-19 1172
对于非常大的文件或者很重要的文件，在不稳定的网络环境下，可能文件的某些字节会损坏。此时，对文件计算MD5即可以校验其完整性。最简便的方法是使用git自带的md5sum进行计算，借助find批量匹配执行，用diff查看差异。
MD5特性
a13698709128的博客
07-06 3789
1、压缩性：无论数据长度是多少，计算出来的MD5值长度相同2、容易计算性：由原数据容易计算出MD5值3、抗修改性：即便修改一个字节，计算出来的MD5值也会巨大差异4、抗碰撞性：知道数据和MD5值，很小概率找到相同MD5值相同的原数据...
MD5算法性能测试
热门推荐
sctq8888的专栏
09-18 1万+
MD5算法性能测试                                                (一)          实验目的 本次实验的主要目的是测试中大量使用MD5运算是否对网站或者系统带来性能方面的影响。 (二)          实验场景 根据实验目的，设计了如下三个场景： 1． 单线程下 运行5000次 计算平均时间（分别运算100K;
MD5优缺点
m0_73889578的博客
03-15 684
MD5的缺点：作为散列算法，经过证实，仍然会存在两种不同数据会发生碰撞；很多人使用的密码是常见的组合，攻击者将这些密码的常见组合进行单向哈希，得到一个摘要组合，然后与数据库中的摘要进行比对即可获得对应的密码。MD5的优点：计算速度快，加密速度快，不需要密钥；防止被篡改，传输中一旦被篡改，计算出的MD5值也会改变；综上所述，md5是消息摘要算法，既不是对称算法也不是非对称算法。大部分情况下使用对称加密具有不错的安全性，如果需要分布式进行秘钥分发，那么就考虑使用非对称加密；
md5 特性 用途
金溪的博客
08-02 1751
  MD5        MD5的全称是Message-Digest Algorithm 5（信息-摘要算法），在90年代初由MIT Laboratory for Computer Science和RSA Data Security Inc的Ronald L. Rivest开发出来，经MD2、MD3和MD4发展而来。是一种不可逆的加密算法，目前是最牢靠的加密算法之一，尚没有能够逆运算的程序被开...
简易文件MD5值计算工具
04-29
简易文件MD5值计算工具
Java计算文件MD5值(支持大文件)
04-04
Java计算文件MD5值(支持大文件) package com.hthl.xxtd; import java.io.File; import java.io.FileInputStream; import java.io.IOException; import java.security.MessageDigest; import org....
python 计算文件的md5值实例
09-21
在Python中，计算文件的MD5值通常用于验证文件的完整性或比较两个文件是否相同。 本文提供了两种Python方法来计算文件的MD5值。首先，我们来看第一种方法，适用于较小文件： ```python import hashlib import os ...
MD5算法的技术研究及性能优化-陆琳琳
05-13
吉林大学硕士论文完整原版，MD5算法研究，算法原理，常见优秀hash函数，MD5算法优化等。
计算文件夹下所有文件的MD5值
04-16
在Windows操作系统中，有时我们需要批量计算一个文件夹内所有文件的MD5值，以确保文件的一致性。下面将详细介绍如何在Windows环境下实现这一功能以及压缩包中的源代码可能实现的方法。 1. **手动计算单个文件的MD5...
MD5有哪些特性，常用的MD5加密真的安全吗
ITduo的博客
01-18 1256
在密码学中，MD5是比较常用的算法之一。大家都知道MD5曾一度被认为十分安全，并且在国内外得到广泛适用。然而，王小云教授的研究证明利用MD5算法的磕碰能够严重威胁信息体系安全，因此引发了密码学界的轩然大波。那么，关于MD5算法你了解多少，它有哪些特性，我们常用的MD5加密真的安全吗？
Java秒杀系统方案优化 高性能高并发实战项目笔记三——两次MD5加密工具类的设计
凡心所向，素履所往，生如逆旅，一苇以航
08-19 356
每学完一个知识点，现在都想着赶快写博客纪录下来，不然在之后回忆再去写的话可能一些细小的知识点都会忘掉。现在越来越觉得写博客是整理自己知识点的一个比较好的方法，这样其实也是为了更好地能够形成自己的知识体系。 不多说了，本篇博客是纪录在表单提交上使用MD5进行加密的方式 两次MD5加密 用户端：PASS = MD5（明文 + 固态Salt）：防止用户密码以明文的方式进行传播，防止请求的数据包被截...
md5与crc32性能对比
weixin_34111819的博客
11-16 2312
感觉MD5算法复杂度比crc32高很多，具体高多少呢？测试一下 // main.go package main import ( "crypto/md5" "fmt" "hash/crc32" ) func main() { data := []byte("test") fmt.Printf(...
python windows桌面程序开发_效率为王：python+windows右键
weixin_39748838的博客
11-27 272
在程序开发中经常遇到如下场景，Windows下开发，编译后的代码先发测试环境(Linux)，测试环境通过后发集成测试环境(Linux)，集成测试环境测试通过后发用户验收测试环境(Linux)。每次发版时需要确认是否发版成功，因为有可能漏发文件。最笨的方法是将远程目录下载过来与本地发版目录中的文件一一比对。实际上稍微留心的话比对工具compare支持远程比对(若不支持请升级到最新版本)。上述方法看似...
md5加密软件怎么做性能测试,LoadRunner 中实现MD5加密
weixin_33463850的博客
07-22 221
最近在用loadrunner做一个压力测试，在编写脚本的时候发现传递参数的时候需要一个sign值，这个值是将参数进行MD5加密生成的，所以下面就说一说怎么对参数进行MD5加密。1、首先我们需要一个加密算法的文件叫做：md5.h文件我们可以新建一个md5.h文件，至于里面具体的算法网上都有下载，具体如下(直接将下面的算法拷贝到md5.h文件中)：#ifndef MD5_H#define MD5_H#...
MD5算法：高效安全的数据完整性保障
01-31 2255
在数字世界中，确保数据完整性和安全性至关重要。消息摘要算法就是一种用于实现这一目标的常用技术。其中，Message Digest Algorithm 5（MD5）算法因其高效性和安全性而受到广泛关注。本文将详细介绍MD5算法的优缺点，以及它如何解决数据完整性问题和安全性问题。此外，我们还将提供一个使用Java编写的完整示例，以帮助读者深入了解MD5算法的实际应用。
Python爬虫与MongoDB的完美结合
最新发布
weixin_52392194的博客
08-03 675
我们掌握了在Windows和Linux系统下安装MongoDB，设计适合爬虫存储数据的写入规范，并通过实际爬虫示例展示了如何将爬取到的数据存储到MongoDB中。此外，还进行了MongoDB性能优化，提高了数据存储和查询的效率。
java 计算文件的md5值 高性能
07-19
### 回答1： 要计算文件的MD5值，Java提供了MessageDigest类，它可以实现高性能的MD5计算。 首先，我们需要使用FileInputStream类读取文件的内容。为了提高性能，我们可以使用BufferedInputStream对FileInputStream进行包装，以减少IO操作的次数。然后，我们可以使用MessageDigest.getInstance("MD5")获取MD5算法实例。 接下来，我们可以通过循环读取文件的块来计算MD5值。可以使用byte数组作为缓冲区，从输入流中读取数据，并将其传递给MessageDigest的update方法。使用update方法可以逐步更新MD5值，而不是一次性处理整个文件。这样可以有效地减少内存消耗，特别是对于大文件。 在读取完整个文件后，我们可以使用digest方法获取最终的MD5值。这个方法会返回一个byte数组，表示计算得到的MD5摘要。我们可以将这个byte数组转换为十六进制字符串，以便更方便地查看和比较。 最后，记得要关闭输入流，释放资源。 通过以上步骤，我们可以使用Java高性能地计算文件的MD5值。当然，为了进一步优化性能，可以考虑使用多线程并行计算，以提高计算速度。同时，也可以考虑使用NIO相关的类来进行文件的读取，以获得更好的性能。 ### 回答2： 在Java中，计算文件的MD5值可以通过使用Java自带的java.security.MessageDigest类来实现。这个类提供了一种计算消息摘要的功能，其中包括计算MD5值。 要计算文件的MD5值，可以按照以下步骤进行： 1. 使用java.io包中的File类来打开文件，并将文件转换为输入流（InputStream）。 2. 创建一个MessageDigest对象，使用MD5算法初始化。 3. 以字节流的形式读取文件的内容，通过循环将读取的字节更新到MessageDigest对象中。 4. 在读取完整个文件后，使用digest()方法来计算MD5值。 5. 将计算得到的MD5值转换为十六进制字符串表示。 6. 关闭文件的输入流。 使用上述方法可以计算文件的MD5值，但是若要实现高性能的计算过程，可以考虑以下优化措施： 1. 使用缓冲区：在读取文件时，使用缓冲流（BufferedInputStream）来进行读取，可以减少频繁的I/O操作，提高性能。 2. 多线程计算：将文件分成多个部分，使用多线程同时计算各个部分的MD5值，再将计算得到的结果合并。 3. 批量计算：将多个文件的计算任务合并为一个批量计算任务，通过并行处理多个文件的MD5值计算，提高效率。 4. 使用文件系统的并发访问特性：对于多个文件的计算任务，可以将这些文件放在不同的磁盘上，利用磁盘的并发访问特性，在进行文件IO操作时减少等待时间，提高计算速度。 综上所述，通过合理地结合使用缓冲区、多线程计算、批量计算和并发访问等技术手段，可以在Java中高性能地计算文件的MD5值。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Zda天天爱打卡

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值