机器学习dataloader中shuffle=True及使用随机种子控制随机性

行至568

已于 2025-03-20 20:49:58 修改

阅读量1.5k

点赞数 22

分类专栏：机器学习实践文章标签：机器学习人工智能 python 深度学习数据分析数据库

于 2024-11-25 11:21:22 首次发布

本文链接：https://blog.csdn.net/weixin_60006489/article/details/144022365

版权

机器学习实践专栏收录该内容

5 篇文章

订阅专栏

我们首先来看如下代码：

train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True)
val_loader = Dataloader(val_dataset, batch_size=x=batch_size, shuffle=False)

`为什么train_loader的shuffle=True而val_loader的shuffle=False？`

在机器学习和深度学习的训练过程中，数据的随机性是不可避免的。使用 shuffle=True 可以随机打乱训练集数据的顺序，而随机种子的设置则可以控制这种随机性，确保实验的可复现性。本文将系统地介绍 shuffle=True 的作用以及如何通过设置随机种子来控制数据加载和训练过程中的随机行为。我们还将探讨为什么训练集需要打乱顺序，而验证集和测试集通常不需要打乱顺序。通过理解这些概念，能够更加稳定地进行模型训练和调试，确保实验结果的可重复性。

1. `shuffle=True` 在数据加载中的作用

在训练机器学习模型时，数据的顺序对训练结果有着重要影响。通过设置 shuffle=True，我们可以打乱数据的顺序，以增加训练的随机性和多样性。具体来说，shuffle=True 有以下几个作用：

防止过拟合：如果训练数据按照某种固定顺序（如按标签排序）提供，模型可能会记住数据的顺序而非学习数据的实际特征，导致过拟合。通过打乱数据顺序，模型被迫学习更普适的特征。
提高模型的泛化能力：打乱数据顺序有助于模型更好地泛化，因为每个训练周期（epoch）看到的数据顺序不同，避免了模型对某些数据模式的过度依赖。
平衡训练过程：数据顺序的随机化帮助避免在某些训练批次中出现数据偏差，保证每个 mini-batch 中的样本具有较好的多样性。

在上面的例子中，train_loader 将加载数据并随机打乱顺序。

2. 随机种子控制随机性

尽管在训练过程中，我们往往需要依赖数据的随机顺序（例如使用 shuffle=True），但是在多个实验中保持结果的一致性和可复现性是至关重要的。这时，随机种子的设置就显得尤为重要。

随机种子是随机数生成器的起始点，它控制所有的随机操作。通过设置相同的随机种子，你可以确保每次运行程序时生成的随机数序列一致，从而保证每次训练的初始条件相同，实验结果可重复。

设置随机种子

在 PyTorch 中，可以通过以下方法来设置随机种子，以控制数据加载、模型初始化和其他随机操作的一致性：

import random
import numpy as np
import torch

# 设置 Python 内建随机库的种子
random.seed(42)

# 设置 NumPy 的随机种子
np.random.seed(42)

# 设置 PyTorch 的随机种子
torch.manual_seed(42)

# 设置 CUDA 随机种子（如果使用 GPU）
torch.cuda.manual_seed(42)
torch.cuda.manual_seed_all(42)  # 对所有 GPU 设置随机种子

# 确保多线程训练时结果的一致性
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False

上述代码确保了 Python、NumPy 和 PyTorch 中的所有随机操作都使用相同的种子，从而保证每次训练时的行为一致。

3. `shuffle=True` 和随机种子控制的结合

尽管我们使用 shuffle=True 来打乱训练数据的顺序，但如果每次实验都使用相同的随机种子，数据的打乱顺序将在每次训练中保持一致。这样，数据顺序的“随机性”仍然是可控的，确保了实验结果的复现性。

train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True)
random.seed(42)   # 保证数据顺序每次相同

这种方式确保了：

在每次训练时，数据的顺序都是随机的，但每次顺序相同。
训练的初始化条件和数据顺序一致，有助于比较不同模型或超参数设置的效果。

4. 训练集与验证集/测试集的 `shuffle` 区别

虽然训练集通常需要打乱顺序（shuffle=True），但验证集和测试集通常不需要打乱顺序，原因如下：

训练集需要打乱顺序：

增加多样性：在训练过程中，数据的顺序如果没有打乱，可能导致模型偏向于学习数据的某些特定顺序，而不是普适的模式。随机化训练数据的顺序可以确保模型看到多样化的样本，避免过拟合。
保证稳定的训练：训练模型时，每个 mini-batch 中的数据应该尽可能多样化，打乱顺序可以避免模型对某一类数据的过度依赖，保证每次迭代时的学习过程不会被数据顺序干扰。

验证集/测试集不需要打乱顺序：

保证一致性：验证集和测试集的主要作用是评估模型的性能。如果每次评估时都打乱数据，评估结果会因为数据顺序的不一致而变得不稳定。为了确保评估结果的可靠性和一致性，通常不对验证集和测试集进行打乱。
模拟实际情况：验证集和测试集的作用是反映模型在未见数据上的表现，模拟模型在实际应用中的效果。如果对测试数据进行打乱，实际上是在改变模型评估的环境，因此我们通常希望保持数据顺序不变，以准确评估模型的实际性能。

val_loader = DataLoader(val_dataset, batch_size=batch_size, shuffle=False)

在这个例子中，val_loader 不会打乱验证集的数据顺序，确保每次验证时使用相同的数据顺序。

5. 总结与示例

在训练模型时，通常会使用 shuffle=True 来确保训练数据的顺序是随机的，这有助于提升模型的泛化能力。相反，在验证集和测试集上，我们不打乱数据顺序，以确保每次评估结果的稳定性和可比性。以下是一个完整的代码示例：

import torch
from torch.utils.data import DataLoader

# 设置随机种子
random.seed(42)
np.random.seed(42)
torch.manual_seed(42)
torch.cuda.manual_seed(42)

# 假设 train_dataset 和 val_dataset 已经定义
train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True)  # 训练集需要打乱顺序
val_loader = DataLoader(val_dataset, batch_size=batch_size, shuffle=False)  # 验证集不需要打乱顺序

总结

shuffle=True：数据随机打乱顺序，增强训练过程的随机性，防止模型记住数据顺序，从而提高泛化能力。
随机种子控制：通过设置随机种子，我们可以确保实验结果的一致性和可复现性。即使数据顺序是随机的，使用相同的种子可以保证每次训练的数据顺序和其他随机操作一致。
训练集 vs 验证集/测试集：训练集需要打乱数据顺序，以确保模型在每个 epoch 上看到不同的数据顺序，从而避免过拟合。而验证集和测试集的顺序不应打乱，保持一致性是为了准确评估模型的性能。