论文阅读-Self-Supervised Video Forensics by Audio-Visual Anomaly Detection-音视频异常检测

一、论文信息

论文名称：Self-Supervised Video Forensics by Audio-Visual Anomaly Detection

作者单位：

 Github: https://cfeng16.github.io/ audio-visual-forensics.

二、动机与创新

动机：

被操纵的视频通常包含视觉和音频信号之间的微妙不一致，并且很难收集捕获所有可能操作的大型带标签的数据集。为检测被操纵的视频，本文作者提出了检测同步特征的异常。

创新：

• 提出一种通过异常检测识别被操纵视频的方法，训练自回归生成模型来标记概率很低的视频。

• 仅使用真实的未标记数据训练模型，以了解音视频是如何共现的，测试时，模型标记的低概率视频即为假视频。

• 测试时的测试集可以为不同的说话人。（以前的方法的测试集都是在训练集基础上做一些数据增强得到）

三、方法

问题定义：异常检测，寻找视频中视觉和音频信号之间的不一致性。

具体采用基于异常检测的方法对视听示例分布进行建模。

同步特征提取过程如 (a) 所示，首先从视听同步的网络中提取特征：视频帧与音频之间的延迟帧数、每帧的延迟分布、来自视听子网的特征激活；（b）训练了一个自回归Transformer模型，将概率分配给