文件完整性测试的解决思路和案例

简介：md5sum是一个在Unix和Unix-like操作系统下计算和校验文件MD5值的工具。它主要用于确保文件的完整性。MD5是一种常用的哈希函数，它可以生成一个固定长度（128位）的哈希值。在文件校验的场景中，我们可以通过比较文件的MD5哈希值来检查文件在传输或存储过程中是否被更改。

历史攻略：

Linux：快速创建大文件

python：第三方库大全

安装：在大多数Linux发行版中，md5sum工具是预装的，所以你可能不需要单独安装它。你可以通过输入以下命令来检查 md5sum 是否已经安装：

md5sum --version

Debian的系统（如Ubuntu），使用apt命令：

sudo apt-get install coreutils

对于基于Red Hat的系统（如Fedora或CentOS），使用yum命令：

sudo yum install coreutils

md5sum 的使用步骤：filename 是文件的名称。这条命令会输出一个 MD5 校验和，这是文件内容的唯一表示。

md5sum filename

获取了新的文件后（例如下载后的文件），再次计算文件的 MD5 校验和，然后与原始的 MD5 校验和进行比较。如果两个校验和相同，那么文件没有被更改。如果校验和不同，那么文件可能在传输或存储过程中被更改。

注意事项：MD5不适用于需要高度安全性的场景，因为它已被证明存在碰撞问题（即不同的输入可能会产生相同的输出）。如果你需要更高的安全性，可以考虑使用SHA-256等更安全的哈希函数。

案例：通过检查，我们发现前后hash均为a981130cf2b7e09f4686dc273cf7187e ，即完全上传下载传输过后，文件是完整的

(base) [root@572ysx2s check-file-size]# fallocate -l 2G myfile-01.img  # 创建一个文件
(base) [root@572ysx2s check-file-size]# ls -lh  # 查看文件大小
total 2.1G
-rw-r--r-- 1 root root 2.0G Jun  1 10:30 myfile-01.img
(base) [root@572ysx2s check-file-size]# 
(base) [root@572ysx2s check-file-size]# md5sum myfile-01.img  # 通过md5sum 查看文件hash
a981130cf2b7e09f4686dc273cf7187e  myfile-01.img

# 注：上传这个文件，此处忽略

(base) [root@ci4vyvxi572ysx2s check-file-size]# cp -r myfile-01.img myfile-02.img  # 拷贝、远程拷贝或者下载这个文件。
(base) [root@572ysx2s check-file-size]# md5sum myfile-02.img  # 再次通过md5sum 查看文件hash 
a981130cf2b7e09f4686dc273cf7187e  myfile-02.img

扩展案例：校验某路径下全部文件和完整性。处理某个路径下全部文件的大小和完整性，你可以遍历目标路径下的所有文件，并分别计算它们的大小和哈希值。以下是在 Linux 和 Python 中实现此任务的示例：

Linux案例：使用 find、du 和 md5sum 命令，可以很容易地在一个目录中递归地查找所有文件，计算它们的大小和 MD5 哈希值。

示例脚本：

find /path/to/directory -type f -exec du -sh {} \; -exec md5sum {} \;

在这个脚本中：

find /path/to/directory -type f 命令会查找指定目录中的所有文件（不包括目录）。

-exec du -sh {} ; 会对每个文件执行 du -sh 命令，计算文件的大小。

-exec md5sum {} ; 会对每个文件执行 md5sum 命令，计算文件的 MD5 哈希值。

Python案例：使用 os 和 hashlib 模块来实现此任务。

示例脚本：

# -*- coding: utf-8 -*-
# time: 2023/6/1 14:00
# file: test.py
# 公众号: 玩转测试开发

import os
import hashlib


def get_file_md5(file_path):
    md5_hash = hashlib.md5()
    with open(file_path, "rb") as f:
        for byte_block in iter(lambda: f.read(4096),b""):
            md5_hash.update(byte_block)
    return md5_hash.hexdigest()


def get_file_size(file_path):
    return os.path.getsize(file_path)


def process_directory(directory_path):
    for root, dirs, files in os.walk(directory_path):
        for file in files:
            file_path = os.path.join(root, file)
            file_size = get_file_size(file_path)
            file_md5 = get_file_md5(file_path)
            print(f"File: {file_path}\nSize: {file_size} bytes\nMD5: {file_md5}\n")


directory_path = "/path/to/directory"
process_directory(directory_path)

在这个脚本中：

os.walk(directory_path) 函数递归地遍历指定目录的所有文件和子目录。

对于每个文件，脚本会计算文件的大小和 MD5 哈希值，并打印结果。