论文阅读《Combining EfficientNet and Vision Transformersfor Video Deepfake Detection》笔记

我觉得这篇论文还是蛮不错的，主要思路就是将卷积神经网络以及vit进行结合的想法

我觉得还可以再添加一个频域模态作为辅助模态

项目链接： https://github.com/davide-coccomini/ Combining-EfficientNet-and-Vision-Transformers-for-Video-Deepfake-Detection.

模型的架构图如下：

1.

作者提出了两个想法：

第一个是使用efficient模型与vit进行拼接

第二个思路是使用CNN模型与vit进行拼接

-----------------------------------------

论文的讲解：

第一个是使用efficient模型与vit进行拼接：

特征图在输入vit之前被划分为7*7的图像块，随后经过线性映射，添加上位置编码再输入到MSA中添加注意力，使用的是efficientnet b0，cnn学习低级和局部信息

第二个是将cnn与vit进行相结合：

卷积交叉ViT使用两个不同的分支:s分支处理较小的斑块，l分支处理较大的斑块，以获得更宽的接受域。

Transformer Encoders从两个分支输出的可视标记通过交叉注意组合在一起，从而允许两条路径之间的直接交互。最后，使用与两个分支的输出相对应的CLS令牌生成两个独立的对数。这些对数被求和，使用softmax函数生成最终的概率。

对于卷积交叉ViT，使用两个不同的CNN主干。前者是EfficientNet B0，对s分支处理7 × 7个图像补丁，对l分支处理54 × 54个图像补丁。

后者是Wodajo等人的CNN, s支路处理7 × 7个图像补丁，l支路处理64 × 64个图像补丁。

数据集：FF++、DFDC

实验结果