Datawhale AI 夏令营：从零入门CV图像竞赛(Deepfake攻防)----Task 3

Task3：数据增强，提升模型表现

原任务地址：https://datawhaler.feishu.cn/wiki/Ad0jwNK8Eis5XwksFZ7cCvb6nHh

数据增强是深度学习中的一种技术，它通过改变训练数据的形态来增加数据的多样性。这样做可以帮助模型学习到更多的特征，从而在面对真实世界中不同的场景时，能够更好地进行泛化。在参加比赛或者实际应用中，一个巧妙的数据增强策略往往能够显著提高模型的准确率，成为取得好成绩的关键因素。简而言之，数据增强通过让模型见识到更多的数据变化，帮助它在面对未知数据时也能保持较高的识别能力。

Part1 数据增强基础

数据增强基础是指在机器学习和深度学习中，为了提高模型的泛化能力，对原始数据集进行一系列操作以生成新的训练样本的方法。

数据增强的作用在于，它能够显著提高深度学习模型在面对新数据时的表现。通过增加训练数据的多样性，数据增强有助于模型捕捉到更加广泛的特征，从而减少对特定训练样本的依赖，降低过拟合的风险。这种方法特别适用于那些数据量有限或数据分布不均匀的情况，因为它可以有效地扩展数据集，使得模型在训练过程中接触到更多的变化。此外，数据增强还能够提高模型对于输入数据小的变化的鲁棒性，这对于实际应用中的模型性能至关重要。通过精心设计的数据增强方案，可以显著提升模型的精度，使其在各种不同的环境和条件下都能保持稳定的性能。

以下是数据增强的一些基本概念和常见技术：

1. 目的：数据增强的主要目的是通过模拟不同的真实世界情况，来增加数据集的多样性，从而帮助模型学习到更加鲁棒的特征。

2. 应用场景：数据增强广泛应用于图像分类、目标检测、语义分割等计算机视觉任务中，也可用于自然语言处理等其他领域。

3. 实现方式：数据增强可以通过编程实现，许多深度学习框架如TensorFlow、PyTorch等都提供了数据增强的库和工具。

4. 重要性：在数据量有限或数据不平衡的情况下，数据增强尤为重要，它可以帮助模型避免过拟合，提高模型在新数据上的泛化能力。

5. 策略选择：选择合适的数据增强策略需要考虑任务的特定需求和数据的特性，有时候需要结合多种技术以达到最佳效果。

6. 自动化：一些高级的数据增强方法可以自动化地探索有效的变换，例如使用神经网络来生成数据增强。

7. 评估：数据增强的效果需要通过验证集来评估，以确保增强后的数据确实提高了模型的性能，而不是简单地增加了模型的复杂度。

通过理解和应用这些基础概念，可以有效地利用数据增强来提升深度学习模型的性能。

 

Part2 常见数据增强方法 

几何变换

• 调整大小: Resize可以将图像调整到指定的大小。

resize_transform = transforms.Resize((256, 256))

• 随机裁剪: RandomCrop和RandomResizedCrop可以随机裁剪图像。

random_crop_transform = transforms.RandomCrop(224, padding=4)

• 中心裁剪: CenterCrop从图像的中心裁剪出指定大小。

center_crop_transform = transforms.CenterCrop(224)

• 五裁剪和十裁剪: FiveCrop和TenCrop分别裁剪出图像的四个角和中心区域。

# 五裁剪
five_crop_transform = transforms.FiveCrop(224)

# 十裁剪
ten_crop_transform = transforms.TenCrop(224)

• 翻转: RandomHorizontalFlip和RandomVerticalFlip可以水平或垂直翻转图像。

# 水平翻转
random_horizontal_flip_transform = transforms.RandomHorizontalFlip()

# 垂直翻转
random_vertical_flip_transform = transforms.RandomVerticalFlip()

• 旋转: RandomRotation可以随机旋转图像。

random_rotation_transform = transforms.RandomRotation(45)

• 仿射变换: RandomAffine可以进行随机的仿射变换。

random_affine_transform = transforms.RandomAffine(degrees=45, translate=(0.1, 0.1), scale=(0.9, 1.1))

• 透视变换: RandomPerspective可以进行随机的透视变换。

random_perspective_transform = transforms.RandomPerspective(distortion_scale=0.5, p=0.5, interpolation=Image.BICUBIC)

颜色变换

• 颜色抖动: ColorJitter可以随机改变图像的亮度、对比度、饱和度和色调。

color_jitter_transform = transforms.ColorJitter(brightness=0.5, contrast=0.5, saturation=0.5, hue=0.5)

• 灰度化: Grayscale和RandomGrayscale可以将图像转换为灰度图。

# 灰度化
grayscale_transform = transforms.Grayscale()

# 随机灰度化
random_grayscale_transform = transforms.RandomGrayscale(0.5)

• 高斯模糊: GaussianBlur可以对图像进行高斯模糊。

gaussian_blur_transform = transforms.GaussianBlur(kernel_size=5, sigma=(0.5, 1.5))

• 颜色反转: RandomInvert可以随机反转图像的颜色。

random_invert_transform = transforms.RandomInvert(p=1)

• 颜色 posterize: RandomPosterize可以减少图像中每个颜色通道的位数。

random_posterize_transform = transforms.RandomPosterize(bits=4)

• 颜色 solarize: RandomSolarize可以反转图像中所有高于阈值的像素值。

random_solarize_transform = transforms.RandomSolarize(threshold=128)

自动增强

• 自动增强: AutoAugment可以根据数据集自动学习数据增强策略。

autoaugment_transform = transforms.AutoAugment(policy=transforms.AutoAugmentPolicy.IMAGENET)

• 随机增强: RandAugment可以随机应用一系列数据增强操作。

randaugment_transform = transforms.RandomApply(
    [transforms.ColorJitter(brightness=0.4, contrast=0.4, saturation=0.4, hue=0)],
    p=0.5
)

• TrivialAugmentWide:提供与数据集无关的数据增强。

trivialaugment_wide_transform = transforms.Compose([
    transforms.RandomHorizontalFlip(),
    transforms.RandomResizedCrop(224),
    transforms.GaussianBlur(kernel_size=(3, 3), sigma=(0.1, 2.0))
])

• AugMix:通过混合多个增强操作进行数据增强。

augmix_transform = transforms.Compose([
    transforms.RandomChoice([
        transforms.RandomApply([transforms.ColorJitter()], p=0.5),
        transforms.RandomGrayscale(p=0.5),
    ]),
    transforms.RandomHorizontalFlip(),
    transforms.RandomCrop(224),
])

几何变换、颜色变换和自动增强是提升深度学习模型泛化性和鲁棒性的关键数据增强技术，通过多样化的图像变换模拟真实世界中的各种情况，帮助模型学习更加泛化的特征。

Part3 进阶数据增强方法

Mixup

Mixup 是一种数据增强技术，用于提高深度学习模型的泛化能力。它通过将两个训练样本及其标签以一定的比例混合来生成新的训练样本。这种方法鼓励模型学习类别之间的平滑过渡，而不是在类别之间产生剧烈的分类边界。

Mixup 的原理

Mixup 通过以下方式工作：

1. 随机选择两个训练样本 (𝑥1,𝑦1)(x1​,y1​) 和 (𝑥2,𝑦2)(x2​,y2​)。
2. 随机生成一个比例系数 𝜆λ，通常在 00 到 11 之间。
3. 计算混合样本 𝑥~x~ 和混合标签 𝑦~y~​： 𝑥~=𝜆𝑥1+(1−𝜆)𝑥2x~=λx1​+(1−λ)x2​ 𝑦~=𝜆𝑦1+(1−𝜆)𝑦2y~​=λy1​+(1−λ)y2​

Mixup 的实现

在 PyTorch 中，可以使用 torchvision 的 Mixup 类来实现 Mixup 数据增强。以下是如何在 PyTorch 中实现 Mixup 的示例代码：

# 定义 Mixup 变换
mixup_transform = transforms.Compose([
    transforms.RandomHorizontalFlip(),
    transforms.ColorJitter(brightness=0.2, contrast=0.2, saturation=0.2),
    transforms.ToTensor(),
    transforms.Mixup(alpha=1.0, device='cpu')  # alpha 控制混合的强度
])

在这个示例中：

• T.Mixup(alpha=1.0) 定义了 Mixup 变换，alpha 参数控制混合的强度，通常是一个 Beta 分布的参数。
• mixup_transform 组合了其他一些常见的数据增强操作和 Mixup。
• 在训练循环中，使用 mixup_transform 处理数据集中的图像和标签。

Mixup 是一种有效的数据增强技术，其主要作用和优点如下：

1. 提高泛化能力：Mixup 通过混合不同样本的输入和标签，增加训练数据的多样性，使模型在面对新数据时表现更稳定。

2. 减少过拟合：由于 Mixup 引入了标签的不确定性，模型被迫学习更加鲁棒的特征表示，从而减少对训练数据的过度拟合。

3. 学习平滑的决策边界：Mixup 鼓励模型在类别之间学习更平滑的过渡，而不是在类别决策边界上产生剧烈变化，这有助于提高模型在边缘案例上的表现。

4. 增强模型的鲁棒性：混合样本可能包含一些不常见或异常的特征组合，这有助于训练模型在面对这些情况时保持稳定。

5. 简化模型训练：Mixup 可以与其他数据增强技术（如旋转、裁剪、颜色调整等）结合使用，进一步增强数据的多样性。

6. 易于实现：在许多深度学习框架中，Mixup 的实现相对简单，可以直接集成到现有的数据加载和训练流程中。

7. 适用性广泛：Mixup 不仅适用于图像分类任务，还可以扩展到其他任务，如目标检测、语义分割等。

8. 提高模型的解释性：由于 Mixup 混合了不同类别的样本，它可以帮助揭示模型是如何在不同类别之间做出决策的，从而提高模型的可解释性。

总的来说，Mixup 是一种简单而强大的数据增强方法，通过在训练过程中引入样本和标签的混合，提高了模型的泛化能力和鲁棒性，是提高深度学习模型性能的有效策略之一。

Cutmix

CutMix 是一种先进的数据增强技术，特别适用于深度学习中计算机视觉任务。它通过裁剪一个图像的一部分并将其与另一个图像的对应部分交换来创建新的训练样本。这种方法不仅增加了数据的多样性，而且还有助于模型学习到更鲁棒的特征表示。

CutMix 的原理

CutMix 的主要步骤如下：

1. 随机裁剪：随机选择两个训练样本 (𝑥1,𝑦1)(x1​,y1​) 和 (𝑥2,𝑦2)(x2​,y2​)，然后在每个样本上随机裁剪出一个区域。

2. 确定裁剪区域：根据随机比例 𝜆λ 确定裁剪区域的大小和位置。

3. 交换裁剪区域：将 𝑥1x1​ 的裁剪区域替换为 𝑥2x2​ 的裁剪区域，反之亦然。

4. 调整标签：根据裁剪区域的比例调整标签，新的标签 𝑦~y~​ 反映了两个原始标签的加权平均。

CutMix 的实现

在 PyTorch 中，可以使用自定义函数来实现 CutMix。以下是 CutMix 的一个简单实现示例：

import torch
import torchvision.transforms.functional as TF

def cutmix_transform(image, label, alpha=1.0, p=0.5, device='cpu'):
    if torch.rand(1).item() > p:
        return image, label

    # 裁剪比例
    lam = torch.sqrt(torch.empty(1).uniform_(0, alpha).to(device))
    rand_index = torch.randperm(2).to(device)
    
    # 裁剪参数
    cut_ratio = 1 - lam
    cut_height = int(image.size(1) * cut_ratio)
    cut_width = int(image.size(2) * cut_ratio)

    # 裁剪坐标
    heights = torch.arange(cut_height).to(device)
    widths = torch.arange(cut_width).to(device)
    
    cut_y1 = torch.randint(0, image.size(1) - cut_height, (1,), dtype=torch.long).to(device)
    cut_x1 = torch.randint(0, image.size(2) - cut_width, (1,), dtype=torch.long).to(device)
    
    cut_y2 = cut_y1 + cut_height
    cut_x2 = cut_x1 + cut_width
    
    # 裁剪和交换
    swapped_image = torch.clone(image)
    swapped_image[rand_index] = image[rand_index]
    swapped_image[:, cut_y1:cut_y2, cut_x1:cut_x2] = image[rand_index, :, cut_y1:cut_y2, cut_x2:cut_x1].flip(2)
    
    # 计算新的标签
    new_labels = torch.empty(2).to(device)
    new_labels[0] = (1 - lam) * label[0] + lam * label[rand_index[1]]
    new_labels[1] = lam * label[1] + (1 - lam) * label[rand_index[0]]

    return swapped_image, new_labels

# 假设 image, label 是你的输入图像和标签
# 使用 CutMix 变换
image, label = cutmix_transform(image, label, alpha=1.0)

在这个示例中，alpha 控制混合的强度，p 是 CutMix 被应用的概率。这个函数可以集成到你的数据加载和训练流程中，以增强模型的训练效果。

CutMix 的优点

1. 增强特征学习：CutMix 强制模型学习到更加局部和区分性的特征，因为裁剪区域包含了新的特征信息。

2. 提高泛化能力：通过混合来自不同图像的区域，CutMix 有助于模型在面对新的组合时表现更好。

3. 减少过拟合：由于 CutMix 增加了训练样本的多样性，它有助于减少模型对特定训练样本的依赖，从而减少过拟合。

4. 改善模型鲁棒性：CutMix 可以帮助模型学习在遮挡和遮挡情况下的特征，从而提高模型对遮挡的鲁棒性。

5. 易于实现：与 Mixup 类似，CutMix 也很容易实现，并可以集成到现有的训练流程中。

6. 适用于多种任务：CutMix 不仅适用于图像分类，还可以扩展到其他任务，如目标检测和分割。

总的来说，CutMix 是一种能够显著提升深度学习模型性能的数据增强方法，特别适合处理那些需要高度泛化能力和鲁棒性的应用场景。

综合评价：

• 适用性：两种方法都适用于图像分类任务，且可以扩展到其他视觉任务。
• 效果：Mixup 和 CutMix 都能够有效地提高模型的泛化能力和鲁棒性，但 CutMix 通过物理区域交换，可能在处理空间特征和部分遮挡方面更为有效。
• 实现：虽然 CutMix 的实现相对复杂，但两种方法都易于集成到现有的训练流程中。

总的来说，Mixup 和 CutMix 是两种互补的数据增强技术，它们通过不同方式增加了训练数据的多样性和复杂性，有助于提升深度学习模型在实际应用中的表现。

baseline的改进

本次运用了efficientnet_b1的预训练模型，只是对原本baseline的部分代码进行了修改，包括损失函数及其训练集数据增强模块。

数据增强模块

train_loader = torch.utils.data.DataLoader(
#     FFDIDataset(train_label['path'].head(10000), train_label['target'].head(10000), 
    FFDIDataset(train_label['path'], train_label['target'], 
            transforms.Compose([
                        transforms.Resize((256, 256)),
                        transforms.RandomHorizontalFlip(p=0.5),
                        transforms.RandomRotation(degrees=15),
                        transforms.RandomGrayscale(p=0.1),
                        transforms.ToTensor(),
                        transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
        ])
    ), batch_size=40, shuffle=True, num_workers=4, pin_memory=True
)

这段代码定义了一个图像数据增强和预处理的流程，使用了PyTorch的transforms模块。下面是对每个组件的分析：

1. transforms.Resize((256, 256)):

   • 这个函数将输入图像的大小调整为256x256像素。这通常是为了确保输入图像具有统一的尺寸，以便能够被神经网络处理。

2. transforms.RandomHorizontalFlip(p=0.5):

   • 这个函数以50%的概率水平翻转图像。这是一种数据增强技术，可以提高模型对图像水平翻转的不变性。

3. transforms.RandomRotation(degrees=15):

   • 这个函数将图像随机旋转最多15度。这也是一种数据增强技术，有助于模型学习图像在轻微旋转下的特征。

4. transforms.RandomGrayscale(p=0.1):

   • 这个函数以10%的概率将图像转换为灰度图像。这可以增加模型对颜色变化的鲁棒性，并且可以减少计算量。

5. transforms.ToTensor():

   • 这个函数将PIL图像或Numpy数组转换为FloatTensor，并将图像的数值范围从[0, 255]线性映射到[0.0, 1.0]。这是将图像数据转换为适合神经网络输入的格式。

6. transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]):

   • 这个函数对图像的每个通道进行标准化，使用均值[0.485, 0.456, 0.406]和标准差[0.229, 0.224, 0.225]。这些值通常是ImageNet数据集上预训练模型的统计值。标准化有助于加快训练过程并提高模型性能。

transforms.Compose将这些操作组合成一个序列，数据加载器DataLoader在加载图像时将依次应用这些变换。这种组合使用是PyTorch中处理图像数据的常见做法，它使得数据增强和预处理过程既灵活又方便。

损失函数

n_samples = len(train_label['target'])
weights = torch.tensor([1.0 / (n_samples * train_label['target'].value_counts(normalize=True).get(0, 1e-9)),
                         1.0 / (n_samples * train_label['target'].value_counts(normalize=True).get(1, 1e-9))],
                       dtype=torch.float32)
weights = weights.cuda()

epochs = 10
criterion = nn.CrossEntropyLoss(weight=weights).cuda()
optimizer = torch.optim.Adam(model.parameters(), 0.005, weight_decay=1e-5)
scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=4, gamma=0.85)

这段代码定义了一个用于处理类别不平衡问题的权重向量，并将其应用于CrossEntropyLoss损失函数。以下是详细分析：

1. 权重计算：

   • weights是一个由两个元素组成的张量，每个元素代表一个类别的权重。权重的计算基于类别的频率，使用公式1.0 / (n_samples * frequency)。其中：
     • n_samples是数据集中样本的总数。
     • train_label['target'].value_counts(normalize=True)计算每个类别的相对频率（即每个类别的样本数除以总样本数）。
     • .get(0, 1e-9)和.get(1, 1e-9)分别获取类别0和类别1的频率，如果某个类别不存在，则默认使用1e-9以避免除以零的错误。

2. 损失函数定义：

   • criterion = nn.CrossEntropyLoss(weight=weights).cuda()定义了一个带有权重的交叉熵损失函数。这里的weight参数接受之前计算的weights张量。
   • 交叉熵损失函数是分类问题中常用的损失函数，它衡量模型预测的概率分布与真实标签的概率分布之间的差异。通过为损失函数添加权重，可以对某些类别的误差给予更大的惩罚，从而解决类别不平衡问题。

采用加权交叉熵损失函数处理原始样本中正负样本比例接近4:1的情况，可以显著提高模型对少数类别的识别能力，有效缓解类别不平衡问题。通过为少数类别分配更高的权重，模型在训练过程中会更加关注这些样本，从而改善整体的分类性能和泛化能力。这种方法不仅提高了模型的公平性，优化了损失函数，而且易于实现，并且可以利用GPU加速训练过程。此外，加权损失函数的策略具有很好的适应性和可扩展性，适用于多类别问题，有助于模型更快地收敛到更好的解。

训练与验证精度和损失值随训练周期变化的统计表

	train_acc	val_test	train_loss
epoch 0	85.75	86.330	3.1610e-01
epoch 1	92.94	83.660	1.7132e-01
epoch 2	94.34	83.470	1.3845e-01

在分析模型训练的早期阶段时，这张表格提供了关于训练精度、验证精度和训练损失的关键信息。从第0个epoch开始，训练精度从85.75%稳步提升至第2个epoch的94.34%，显示出模型在训练数据上学习特征的能力在增强。然而，与此同时，验证精度并没有显示出相同的提升趋势，反而从第1个epoch开始下降，这可能是一个警示信号，表明模型可能开始对训练数据过度拟合。

训练损失的显著下降进一步证实了模型在训练数据上的性能提升，但这也掩盖了模型在泛化到新数据上可能面临的挑战。这种训练损失与验证精度之间的不一致性，是模型开发过程中需要密切关注的问题。

为了应对这一挑战，接下来的步骤可能包括对模型架构的重新评估，以及对训练过程的调整。这可能涉及到引入更多的正则化技术，比如L1或L2正则化，或者调整优化器的参数，比如学习率和衰减策略。此外，增加数据增强的多样性和强度，或者采用更复杂的模型结构，也可能是提高模型泛化能力的有效手段。

最后，随着训练的继续，持续监控这些指标将是至关重要的。这不仅包括对训练和验证精度及损失的跟踪，还应该包括对其他性能指标的评估，以获得对模型性能更全面的了解。通过这些综合措施，可以更有效地引导模型训练，以达到更好的泛化效果。