Datawhale AI 夏令营多模态task1

Deepfake​

深度学习是一种强大的机器学习技术，它通过模拟人脑处理信息的方式，使计算机能够从大量数据中自动学习和识别模式。深度学习模型，尤其是卷积神经网络（CNN），能够识别图像和视频中的复杂特征。在Deepfake检测中，模型可以学习识别伪造内容中可能存在的微妙异常。​
​
为了训练有效的Deepfake检测模型，需要构建包含各种Deepfake和真实样本的数据集（本次比赛的数据集就是按照这种方式进行组织）。深度学习模型通过这些数据集学习区分真假内容。

深度伪造技术通常可以分为四个主流研究方向：​

1. 面部交换专注于在两个人的图像之间执行身份交换；
2. ​ 面部重演强调转移源运动和姿态；​
3. 说话面部生成专注于在角色生成中实现口型与文本内容的自然匹配；
4. ​ 面部属性编辑旨在修改目标图像的特定面部属性；

Deepfake深度学习方法

音频处理

在识别Deepfake视频时，音频分析之所以简单，是因为Deepfake技术生成的视频中，音频可能存在不自然或重复的模式，例如重复的单词或短语。通过分析音频的频谱图，可以更容易地发现这些异常，从而帮助识别视频是否经过了深度伪造处理。

MEL频谱图（Mel-spectrogram）是一种在音频信号处理领域常用的可视化工具，它基于人耳的听觉特性来表示音频信号的频率内容。梅尔刻度是一种对频率进行非线性缩放的方法，它将线性频率映射到梅尔频率上，使得梅尔刻度上的间隔更接近人耳感知的间隔。梅尔刻度是以物理学家H. Fletcher和W. A. Munson的名字命名的。

把频谱图作为图像传入模型进行训练得到模型作为分类模型

视频处理

1.我们可以把是整个视频使用时序建模学习特征，这样做会训练时间会比较长，模型也会较大
2.可以通过视频每一帧的差异计算得到一个直方图，通过直方图去建模一个机器学习的模型，或者也许也可以直接当作图像传入做深度学习模型

多模态处理

结合音频和视频两个模态，处理完上述两个方法后，把上述两个方法得到的特征融合再过几层特征抽取或者直接开始分类。