从零入门CV图像竞赛(Deepfake攻防) Task 01 笔记

作者：一片蔚蓝的天空

Part1 Deepfake是什么？

Deepfake是一种使用人工智能技术生成的伪造媒体，特别是视频和音频，是由计算机生成的。这种技术通常涉及到深度学习算法，特别是生成对抗网络（GANs）。

深度伪造技术通常可以分为四个主流研究方向：

• 面部交换专注于在两个人的图像之间执行身份交换；

• 面部重演强调转移源运动和姿态；

• 说话面部生成专注于在角色生成中实现口型与文本内容的自然匹配；

• 面部属性编辑旨在修改目标图像的特定面部属性；

Part2 如何识别Deepfake？

人工识别Deepfake可以通过以下逻辑步骤：

1. 观察图片的细节。

2. 检查光线和阴影。

3. 分析像素。

4. 注意背景。

Part3 深度学习与Deepfake

3.1 机器学习与深度学习

机器学习的核心思想是通过算法和统计模型，机器学习允许计算机从经验中学习，识别模式，并做出预测或决策。具体分为监督学习（supervised learning）与无监督学习(unsupervised learning)

机器学习的主要分类如下图：

• 监督学习：算法从标记的训练数据中学习，这些数据包含了输入和期望的输出。数据会有明确对应的input和label，如果输出是离散的，则是分类(classification),如果输出是连续的，则是回归(regression)

• 无监督学习：算法处理未标记的数据，试图找出数据中的结构和模式。常见的无监督学习范式有聚类(cluster)。

深度学习则是机器学习的一个子集，它使用类似于人脑的神经网络结构，特别是深层神经网络，来模拟人类学习过程。深度学习模型通过模拟人脑处理信息的方式来识别数据中的复杂模式和特征。

3.2 深度学习与Deepfake

为了训练有效的Deepfake检测模型，需要构建包含各种Deepfake和真实样本的数据集（本次比赛的数据集就是按照这种方式进行组织）。深度学习模型通过这些数据集学习区分真假内容。

Part4 Baseline 关键步骤

4.1 预训练模型

预训练模型是指在特定的大型数据集（如ImageNet）上预先训练好的神经网络模型。这些模型已经学习到了丰富的特征表示，能够识别和处理图像中的多种模式。使用预训练模型的好处是，它们可以在新数据集或新任务上进行微调（Fine-tuning），从而加快训练过程并提高模型性能，尤其是当可用的数据量有限时。

4.2 定义模型训练步骤

模型训练的流程如下：

1. 设置训练模式：通过调用model.train()将模型设置为训练模式。在训练模式下，模型的某些层（如BatchNorm和Dropout）会按照它们在训练期间应有的方式运行。

2. 遍历数据加载器：使用enumerate(train_loader)遍历train_loader提供的数据批次。input是批次中的图像数据，target是对应的标签。

3. 数据移动到GPU：通过.cuda(non_blocking=True)将数据和标签移动到GPU上。non_blocking参数设置为True意味着如果数据正在被复制到GPU，此操作会立即返回，不会等待数据传输完成。

4. 前向传播：通过output = model(input)进行前向传播，计算模型对输入数据的预测。

5. 计算损失：使用损失函数loss = criterion(output, target)计算预测输出和目标标签之间的差异。

6. 梯度归零：在每次迭代开始前，通过optimizer.zero_grad()清空（重置）之前的梯度，以防止梯度累积。

7. 反向传播：调用loss.backward()计算损失相对于模型参数的梯度。

8. 参数更新：通过optimizer.step()根据计算得到的梯度更新模型的参数。

   def train(train_loader, model, criterion, optimizer, epoch):
   
       # switch to train mode
       model.train()
   
       end = time.time()
       for i, (input, target) in enumerate(train_loader):
           input = input.cuda(non_blocking=True)
           target = target.cuda(non_blocking=True)
   
           # compute output
           output = model(input)
           loss = criterion(output, target)
   
           optimizer.zero_grad()
           loss.backward()
           optimizer.step()

4.3 数据集增强

数据增强是一种在机器学习和深度学习中提升模型性能的重要技术。它通过应用一系列随机变换来增加训练数据的多样性，从而提高模型的泛化能力。增加数据多样性是数据增强的核心目的。通过对原始图像进行如旋转、缩放、翻转等操作，可以生成新的训练样本，使模型学习到更丰富的特征表示。

transforms.Compose: 这是一个转换操作的组合，它将多个图像预处理步骤串联起来：

• transforms.Resize((256, 256))：将所有图像调整为256x256像素的大小。

• transforms.RandomHorizontalFlip()：随机水平翻转图像。

• transforms.RandomVerticalFlip()：随机垂直翻转图像。

• transforms.ToTensor()：将PIL图像或Numpy数组转换为torch.FloatTensor类型，并除以255以将像素值范围从[0, 255]缩放到[0, 1]。

• transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])：对图像进行标准化，使用ImageNet数据集的均值和标准差。

  train_loader = torch.utils.data.DataLoader(
      FFDIDataset(train_label['path'], train_label['target'], 
              transforms.Compose([
                          transforms.Resize((256, 256)),
                          transforms.RandomHorizontalFlip(),
                          transforms.RandomVerticalFlip(),
                          transforms.ToTensor(),
                          transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
          ])
      ), batch_size=40, shuffle=True, num_workers=4, pin_memory=True
  )

  以上就是task01的全部内容，后续会继续更新新的笔记。