Datawhale AI 夏令营——从零入门CV图像竞赛(Deepfake攻防) & Task1-CSDN博客

本文链接：https://blog.csdn.net/qq_43653758/article/details/140406977

了解Deepfake & 初探baseline

主流方向：

面部交换：在两个人的图像之间进行身份交换；
面部重演：转移源的运动和姿态；
说话面部生成：在角色生成中实现口型与文本内容的自然匹配；
面部属性编辑：修改目标图像的特定面部属性。

如何识别：

观察细节：检查面部特征，特别是眼睛和嘴巴，注意不自然的眨眼频率和口型不同步。
检查光线和阴影：确保光源一致，阴影方向合理，不自然的光线和阴影是修改迹象。
分析像素：放大图片，寻找模糊或像素化部分，这是技术瑕疵的标志。
注意背景：检查背景是否有不协调的元素，如物体边缘不平滑或重复模式。

Baseline 训练步骤

1. 设置训练模式：通过调用model.train()将模型设置为训练模式。在训练模式下，模型的某些层（如BatchNorm和Dropout）会按照它们在训练期间应有的方式运行。
2. 遍历数据加载器：使用enumerate(train_loader)遍历train_loader提供的数据批次。input是批次中的图像数据，target是对应的标签。
3. 数据移动到GPU：通过.cuda(non_blocking=True)将数据和标签移动到GPU上。non_blocking参数设置为True意味着如果数据正在被复制到GPU，此操作会立即返回，不会等待数据传输完成。
4. 前向传播：通过output = model(input)进行前向传播，计算模型对输入数据的预测。
5. 计算损失：使用损失函数loss = criterion(output, target)计算预测输出和目标标签之间的差异。
6. 梯度归零：在每次迭代开始前，通过optimizer.zero_grad()清空（重置）之前的梯度，以防止梯度累积。
7. 反向传播：调用loss.backward()计算损失相对于模型参数的梯度。
8. 参数更新：通过optimizer.step()根据计算得到的梯度更新模型的参数。

//  train model
def train(train_loader, model, criterion, optimizer, epoch):

    # switch to train mode
    model.train() //设置训练模式

    end = time.time()
    for i, (input, target) in enumerate(train_loader): //遍历数据加载器
        input = input.cuda(non_blocking=True)
        target = target.cuda(non_blocking=True) //数据移动到GPU

        # compute output
        output = model(input) //前向传播
        loss = criterion(output, target) //计算损失

        optimizer.zero_grad() //重置梯度归零
        loss.backward() //方向传播
        optimizer.step() //参数更新

数据集增强

概念：通过一系列随机变换来增加训练数据多样性，从而提高模型的泛化能力。包括对原始图像进行如旋转、缩放、翻转等操作，生成新的训练样本，使模型学习到更丰富的特征表示。

// data augmentation
train_loader = torch.utils.data.DataLoader(
    FFDIDataset(train_label['path'], train_label['target'], 
            transforms.Compose([
                        transforms.Resize((256, 256)), //将图像调整为256x256像素大小
                        transforms.RandomHorizontalFlip(), //随机水平翻转图像
                        transforms.RandomVerticalFlip(), //随机垂直翻转图像
                        transforms.ToTensor(), //将PIL图像或Numpy数组转换为torch.FloatTensor类型，并除以255以将像素值范围从[0, 255]缩放到[0, 1]
                        transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) //对图像进行标准化，使用ImageNet数据集的均值和标准差
        ])
    ), batch_size=40, shuffle=True, num_workers=4, pin_memory=True
)