TALL: Thumbnail Layout for Deepfake Video Detection

一、研究背景
1.图像级伪造检测方法存在过拟合问题，并且忽略了时间信息。
2.视频级伪造检测方法具有较强泛化性，但计算开销较大，使其难以部署和使用。

二、研究动机
1.基于视频的检测模型计算效率低
2.分析视频序列中的长程信息会使模型忽略局部伪影

三、研究目标
将时间维度的信息附加于图像维度且不干扰空间信息，使模型挖掘时间信息的同时仍能保持较低计算复杂度。

四、技术路线
提出Thumbnail Layout (TALL)，将视频序列转换为预定义的布局，以实现空间和时间依赖性的保存，并允许模型捕获时空不一致性。

1.使用密集采样提取视频中的多个序列，然后在视频序列中随机选择4个连续帧。
2.屏蔽每一帧固定位置的一个块，以提高泛化性。
3.将帧缩小为子图，并将序列按预定义顺序重新排列为缩略图，使其具有与原始帧相同的大小。

五、实验结果