【Python】深度学习中随机数种子seed的种类和设置方式

在机器学习和深度学习的实验中，确保实验的可重复性是非常重要的。下面定义的set_random_seed(seed) 函数的主要目的是设置随机种子以确保代码的随机性操作（如参数初始化、数据集分割、随机数据增强等）在不同运行之间是可重复的。这使得其他研究人员或开发者可以复现相同的实验结果，同时也便于调试和优化模型。

函数详解

def set_random_seed(seed):
    """Set random seeds."""
    random.seed(seed)  # 设置 Python 内置随机库的种子
    np.random.seed(seed)  # 设置 NumPy 随机库的种子
    torch.manual_seed(seed)  # 设置 PyTorch 随机库的种子
    torch.cuda.manual_seed(seed)  # 为当前 CUDA 设备设置种子
    torch.cuda.manual_seed_all(seed)  # 为所有 CUDA 设备设置种子

这个函数通过接受一个整数值 seed 作为输入，来统一设置多个随机数生成系统的种子：

• random.seed(seed)：

  • 设置 Python 标准库中 random 模块的种子。这影响使用 random 模块函数进行的所有随机选择和操作。

• np.random.seed(seed)：

  • 设置 NumPy 库的随机数生成器的种子。这对所有使用 NumPy 进行随机数生成的操作都会产生影响，包括随机数组生成、数据洗牌等。

• torch.manual_seed(seed)：

  • 设置 PyTorch 的随机数生成器的种子，影响所有 CPU 级别的随机操作，包括参数初始化和随机采样等。

• torch.cuda.manual_seed(seed)：

  • 设置当前 CUDA 设备的种子。这对使用当前 GPU 进行的随机操作有效，例如在 GPU 上进行的随机参数初始化。

• torch.cuda.manual_seed_all(seed)：

  • 设置所有可用 CUDA 设备的随机种子，确保在多 GPU 环境中，所有设备的随机数生成行为保持一致。

目的和应用

通过在实验开始之前调用这个函数，你可以确保每次实验的启动条件相同，从而使得实验结果具有可比性和可重复性。这对科学研究和算法的公平比较至关重要。

在实际应用中，通常在实验或模型训练的脚本开始时调用此函数，如下：

if __name__ == "__main__":
    set_random_seed(42)  # 42只是一个常用的示例种子
    # 后续代码

这样，无论是模型初始化、数据加载的顺序、还是任何其他依赖随机性的操作，都将在多次运行间保持一致，从而确保实验结果的稳定和可复现。