Datawhale AI 夏令营 笔记二——水哥直播知识点记录

deepfake

deepfake是一种深度伪造技术，在多个领域展现出其创新潜力，但其滥用也带来了一系列严重的危害。

deepfake样本产生方法

一般使用一些图像生成模型来产生deepfake样本，比如autoencoders、VAEs、GANs。还有其他方法，比如Diffusion Models和transformer models等。

deepfake分析方法

1. 首先观察细节。仔细检查人物的面部特征，尤其是眼睛和嘴巴，看是否有不自然的眨眼频率或口型与说话内容不同步的现象。
2. 接着检查光线和阴影。分析图片中的光源是否一致，阴影的方向是否与光源相符，不自然的光线或阴影可能是图片被修改的迹象。
3. 然后分析像素。放大图片，寻找是否有模糊或像素化的部分，这可能是deepfake技术留下的瑕疵。
4. 此外注意背景。检查背景中是否有不协调的元素，比如物体边缘是否平滑，背景中是否有不自然的重复模式，背景中是否有栅格化等。

deepfake难点

1. 数据集挑战。数据集规模不够大，这是大多数基于深度学习的算法的一个痛点，缺少有着丰富良好标注的数据集。还有不平衡分类，有部分类别的数据很少，会导致模型对这些类别的预测性能很差。
2. 算法挑战。一般来说，算法模型越复杂，性能越好，但所需的数据量和计算复杂度也会越大。

赛题思路

1. 使用图像二分类算法，注意模型大小不能超过200M。
2. 当前提供的训练集和竞赛官方提供的测试集所使用的deepfake样本产生方法可能不同，要考虑到提高模型的泛化性能。
3. 数据增强方法，可使用旋转、翻转、颜色变换、mixup、cutmix等。
4. 可尝试缩放一下数据集，加快模型的训练。