Datawhale AI 夏令营-全球Deepfake攻防挑战赛-Task 3 数据增强_全球deepfake攻防挑战赛数据集-CSDN博客

图像大小调整：transforms.Resize((256, 256))将所有图像调整到256x256像素的尺寸
随机水平翻转：transforms.RandomHorizontalFlip()随机地水平翻转图像
随机垂直翻转：transforms.RandomVerticalFlip()随机地垂直翻转图像
转换为张量：transforms.ToTensor()将图像数据转换为PyTorch的Tensor格式
归一化：transforms.Normalize()对图像进行归一化处理，这里的均值和标准差是根据ImageNet数据集计算得出的，用于将图像像素值标准化，这有助于模型的训练稳定性和收敛速度。
在深度学习中，对输入数据进行归一化是一个标准步骤。归一化有助于加快模型的收敛速度，并提高数值稳定性。对于验证集，应该避免使用如随机翻转等可能引入不必要噪音的增强方法。通常，验证集只需要进行必要的预处理，如调整大小和归一化。

train_loader = torch.utils.data.DataLoader(
    FFDIDataset(train_label['path'].head(1000), train_label['target'].head(1000), 
            transforms.Compose([
                        transforms.Resize((256, 256)),
                        transforms.RandomHorizontalFlip(),
                        transforms.RandomVerticalFlip(),
                        transforms.ToTensor(),
                        transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
        ])
    ), batch_size=40, shuffle=True, num_workers=4, pin_memory=True
)

val_loader = torch.utils.data.DataLoader(
    FFDIDataset(val_label['path'].head(1000), val_label['target'].head(1000), 
            transforms.Compose([
                        transforms.Resize((256, 256)),
                        transforms.ToTensor(),
                        transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
        ])
    ), batch_size=40, shuffle=False, num_workers=4, pin_memory=True
)

Part2 常见数据增强方法

torchvision是一个流行的开源Python包，它提供了许多用于深度学习计算机视觉任务的工具和预训练模型。在torchvision中，数据增强方法主要位于torchvision.transforms和torchvision.transforms.v2模块中。这些增强方法可以用于图像分类、目标检测、图像分割和视频分类等各种任务。

几何变换

调整大小: Resize可以将图像调整到指定的大小。
随机裁剪: RandomCrop和RandomResizedCrop可以随机裁剪图像。
中心裁剪: CenterCrop从图像的中心裁剪出指定大小。
五裁剪和十裁剪: FiveCrop和TenCrop分别裁剪出图像的四个角和中心区域。
翻转: RandomHorizontalFlip和RandomVerticalFlip可以水平或垂直翻转图像。
旋转: RandomRotation可以随机旋转图像。
仿射变换: RandomAffine可以进行随机的仿射变换。
透视变换: RandomPerspective可以进行随机的透视变换。

颜色变换

颜色抖动: ColorJitter可以随机改变图像的亮度、对比度、饱和度和色调。
灰度化: Grayscale和RandomGrayscale可以将图像转换为灰度图。
高斯模糊: GaussianBlur可以对图像进行高斯模糊。
颜色反转: RandomInvert可以随机反转图像的颜色。
颜色 posterize: RandomPosterize可以减少图像中每个颜色通道的位数。
颜色 solarize: RandomSolarize可以反转图像中所有高于阈值的像素值。

自动增强

自动增强: AutoAugment可以根据数据集自动学习数据增强策略。
随机增强: RandAugment可以随机应用一系列数据增强操作。
TrivialAugmentWide:提供与数据集无关的数据增强。
AugMix:通过混合多个增强操作进行数据增强。

Part3 进阶数据增强方法

Mixup

MixUp是一种数据增强技术，其原理是通过将两个不同的图像及其标签按照一定的比例混合，从而创建一个新的训练样本。这种方法可以增加训练数据的多样性，提高模型的泛化能力，并减少过拟合的风险。MixUp方法中混合比例是一个超参数，通常称为alpha。alpha是一个在0到1之间的值，表示混合的比例。例如，alpha=0.5意味着两个图像各占新图像的一半。

MixUp的混合过程包括以下步骤：

从训练集中随机选择两个图像和它们的标签。
将这两个图像按照alpha的比例混合，得到一个新的图像。
将这两个标签按照相同的alpha比例混合，得到一个新的标签。

MixUp的优点：

增加数据多样性：通过混合不同的图像和标签，MixUp可以创建更多样化的训练样本，帮助模型学习到更加鲁棒的特征表示。
减少过拟合：MixUp可以减少模型对特定训练样本的依赖，从而降低过拟合的风险。
提高泛化能力：MixUp可以帮助模型学习到更加泛化的特征表示，从而提高模型在未见过的数据上的表现。

Cutmix

CutMix是一种数据增强技术，它通过将一个图像的一部分剪切并粘贴到另一个图像上来创建新的训练样本。同时，它也会根据剪切区域的大小来调整两个图像的标签。

CutMix方法中，剪切和粘贴操作是关键步骤。具体来说，剪切和粘贴过程包括以下步骤：

从训练集中随机选择两个图像和它们的标签。
随机选择一个剪切区域的大小和位置。
将第一个图像的剪切区域粘贴到第二个图像上，得到一个新的图像。
根据剪切区域的大小，计算两个图像的标签的加权平均值，得到一个新的标签。

Part4 导图总结

二、心得感悟

在训练过程中，深度学习模型的训练过程需要很长的时间，我出现了多次训练到一半自动关闭的情况。其原因好像是长时间挂在那里没有动作，系统以为你走了，所以就会把你的连接断开。但这样会导致所有的工作都会丢失。

解决方法：

1.最简单的解决方法

使用“保存”>“全部运行”，这样系统就不依赖任何活动信号，在后台从头到尾运行。

2.神经网络的训练往往需要很长的时间，如果训练过程中需要临时中断，将丢失所有所做的工作，因此，训练参数的保存与重新加载就显得非常重要。

# 保存检查点 Checkpoint 
torch.save({
'epoch': epoch,
'model_state_dict': model.state_dict(),
'optimizer_state_dict': optimizer.state_dict(),
'loss': loss,
...
}, PATH)

同时，如果想恢复训练的话，需要加载之前的优化器和模型，这样恢复训练才是正确的，如果只加载模型不加载优化器其实是丢失了一部分数据的。因为模型参数是通过优化器去更新的，如果恢复训练时不加载而是创建一个新的，肯定是有问题的。

# 加载
model = TheModelClass(*args, **kwargs)              # 实例化模型
optimizer = TheOptimizerClass(*args, **kwargs)      # 实例化优化器
checkpoint = torch.load(PATH)
model.load_state_dict(checkpoint['model_state_dict'])
optimizer.load_state_dict(checkpoint['optimizer_state_dict'])
epoch = checkpoint['epoch']
loss = checkpoint['loss']
model.eval()#或model.train()

在此感谢datawhale的同学的群里的解答，很专业！