【Datawhale夏令营】第二期 Deepfake Task3学习总结

代码实操地址：https://www.kaggle.com/finlay/deepfake-ffdi-ch3

• 数据增强基础

数据增强是一种在机器学习和深度学习领域常用的技术，尤其是在处理图像和视频数据时。数据增强的目的是通过人工方式增加训练数据的多样性，从而提高模型的泛化能力，使其能够在未见过的数据上表现得更好。数据增强涉及对原始数据进行一系列的变换操作，生成新的训练样本。这些变换模拟了真实世界中的变化，对于图像而言，数据增强包括例如视角、光照、遮挡等情况，使得模型能够学习到更加鲁棒的特征表示。
比如notebook里面的随机水平翻转变换，对小猫图片做了8次随机水平翻转变换，6次不翻转，2次翻转。每次运行，都会得到不一样的结果。

但是要注意的是，变换操作需要与目标任务的实际场景符合。比如使用AutoAugment()函数，得到的第二张、第七张，一般场景是见不到这种小猫的。

train_loader = torch.utils.data.DataLoader(
    FFDIDataset(train_label['path'].head(1000), train_label['target'].head(1000), 
            transforms.Compose([
                        transforms.Resize((256, 256)),
                        transforms.RandomHorizontalFlip(),
                        transforms.RandomVerticalFlip(),
                        transforms.ToTensor(),
                        transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
        ])
    ), batch_size=40, shuffle=True, num_workers=4, pin_memory=True
)

val_loader = torch.utils.data.DataLoader(
    FFDIDataset(val_label['path'].head(1000), val_label['target'].head(1000), 
            transforms.Compose([
                        transforms.Resize((256, 256)),
                        transforms.ToTensor(),
                        transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
        ])
    ), batch_size=40, shuffle=False, num_workers=4, pin_memory=True
)

train_loader就是加载预处理过的训练集图像数据，预处理过程包括Resize统一大小，随机水平、竖直翻转，之后转换成张量并进行归一化。在深度学习中，对输入数据进行归一化是一个标准步骤。归一化有助于加快模型的收敛速度，并提高数值稳定性。对于验证集，应该避免使用如随机翻转等可能引入不必要噪音的增强方法。通常，验证集只需要进行必要的预处理，如调整大小和归一化。所以val_loader里面没有水平、竖直翻转的操作。

• 常见数据增强方法

torchvision是一个流行的开源Python包，官方文档比较详细：https://pytorch.org/vision/main/index.html

在这个包中，数据增强方法主要位于torchvision.transforms和torchvision.transforms.v2模块中。包括几何变换、颜色变换、自动增强等操作，具体可以看他的包介绍，并配合notebook实操。

进阶数据增强方法

Mixup

MixUp的混合过程包括以下步骤：

1. 从训练集中随机选择两个图像和它们的标签。

2. 将这两个图像按照alpha的比例混合，得到一个新的图像。

3. 将这两个标签按照相同的alpha比例混合，得到一个新的标签。

MixUp方法具有以下几个优点：

1. 增加数据多样性：通过混合不同的图像和标签，MixUp可以创建更多样化的训练样本，帮助模型学习到更加鲁棒的特征表示。

2. 减少过拟合：MixUp可以减少模型对特定训练样本的依赖，从而降低过拟合的风险。

3. 提高泛化能力：MixUp可以帮助模型学习到更加泛化的特征表示，从而提高模型在未见过的数据上的表现。

Cutmix

CutMix方法中，剪切和粘贴操作是关键步骤。具体来说，剪切和粘贴过程包括以下步骤：

1. 从训练集中随机选择两个图像和它们的标签。

2. 随机选择一个剪切区域的大小和位置。

3. 将第一个图像的剪切区域粘贴到第二个图像上，得到一个新的图像。

4. 根据剪切区域的大小，计算两个图像的标签的加权平均值，得到一个新的标签。

How to use CutMix and MixUp — Torchvision 0.18 documentation

两种技术的示例可以参考以上链接

本笔记参考资料：‍​​⁠‍​​​‬​‬‬​​​​​​‍​​​​​​‬‍‍​​​​‌​‬​​​‬​‬⁠‬Task3：数据增强，提升模型表现 - 飞书云文档 (feishu.cn)