论文阅读-Combining EfficientNet and Vision Transformers for Video Deepfake Detection（深度鉴伪）

已于 2022-11-21 13:30:20 修改
阅读量834 收藏 4
点赞数
分类专栏： 读论文 文章标签： 深度学习 人工智能 神经网络
于 2022-11-20 20:34:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43687860/article/details/127953572
版权
该论文提出了一种结合EfficientNet和Vision Transformers的方法，用于视频Deepfake检测。在DFDC数据集上取得了接近最佳检测水平的auc 0.951和f1 0.88。通过人脸检测器提取人脸，使用Efficient ViT和Convolutional Cross ViT网络，结合局部和全局信息进行真伪判断。实验表明，这种方法对于视频中多个不同人脸的检测具有较高的准确性。
摘要由CSDN通过智能技术生成

一、论文信息

论文名称：Combining EfficientNet and Vision Transformers for Video Deepfake Detection

论文代码：https://github.com/davide-coccomini/Combining-EfficientNet-and-Vision-Transformers-for-Video-Deepfake-Detection

会议：ICIAP2022

作者团队：

二、创新

传统基于CNN的方法在EfficientNetB7上效果很好，本文使用EfficientNet B0和ViT结合在DFDC数据集上取得了auc 0.951和f1 0.88的成绩，与DFDC数据集上最好的检测水平非常接近。将各种类型的视觉变换器与卷积EfficientNet B0相结合，提取人脸特征。不使用蒸馏法，也不使用集成法。而是一种基于简单投票的方案，用于处理同一视频镜头中的多个不同人脸。在时间上和跨多个人脸上 聚合推断出视频片段的真伪。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
海拉鲁的小厨娘
关注
专栏目录
订阅专栏
【EN+CC ViT】Combining EfficientNet and Vision Transformersfor Video Deepfake Detection
sinat_39223177的博客
09-12 72
使用预训练的权重初始化EfficientNet B0特征提取器，并对其进行微调，以允许网络的最后一层为这个特定的下游任务执行更一致和合适的提取。从EfficientNet B0卷积网络中提取的特征简化了Vision Transformer的训练，因为CNN特征已经嵌入了图像中重要的低级和局部信息。最后，使用与两个分支的输出相对应的CLS令牌生成两个独立的日志。，它处理s分支的7×7图像补丁，处理l分支的56 × 56图像补丁。S分支处理较小的斑块，L分支处理较大的斑块，以获得更宽的接受域。
【论文笔记】Combining EfficientNet and Vision Transformers for Video Deepfake Detection
m0_61628700的博客
10-15 1094
Combining EfficientNet and Vision Transformers for Video Deepfake Detection 题目：结合高效网络和视觉变压器进行视频深度虚假检测（结合）
深度伪造检测论文 · Combining EfficientNet and Vision Transformers for Video Deepfake Detection
Bysen32
07-27 2724
本文通过使用EfficientNet作为图像块的特征前置提取器处理ViT的输入，并提出一种（没啥新颖度，用来凑字数的）投票方法。以较小的参数代价，实现了与SOTA方法可比较（实际上差得远）的性能。
论文阅读《Combining EfficientNet and Vision Transformersfor Video Deepfake Detection》
weixin_56180495的博客
02-07 585
（b）将预训练好的模型提取后的特征图，分为两个分支，一个是s分支，将图像划分为7*7的patch块，另一个是L分支，将图像划分为64*64的patch块，这样做的目的是以捕获更丰富的信息和上下文。最后，使用与两个分支的输出相对应的CLS令牌生成两个独立的日志。这些对数被求和，产生最终的概率。（a）第一种是使用预训练好的efficientnet b0进行特征提取，然后将图像切分成7*7的patch块经过线性映射，输入到vit中进行下一步处理。S分支将图像划分为较小的7x7的patch块，以便。
结合EfficientNet和视觉变换器进行视频假检测_Combining EfficientNet and Vision Tr
02-08
结合EfficientNet和视觉变换器进行视频假检测_Combining EfficientNet and Vision Transformers for Video Deepfake Detection.pdf
【E+CC ViT】Combining EfficientNet and Vision Transformers for Video Deepfake Detection
最新发布
sinat_39223177的博客
10-15 32
使用预训练的权重初始化Efficientnet B0特征提取器，并对其进行微调，以允许网络的最后一层为这个特定的下游任务执行更一致和合适的提取。与它们不同的是，我们提取的面总是正方形的，没有填充。本文提出的两个体系结构以一种监督的方式进行训练，以区分真实的和真实的伪造案例。训练集包括FaceForensics++的所有考虑方法的假视频和DFDC数据集的训练视频，用于计算模型的准确性度量，分别报告。卷积交叉ViT使用两个不同的分支：s分支处理较小的斑块，l分支处理较大的斑块，以获得更宽的接受域。
读论文：Fine-grained Image Classification via Combining Vision and Language
dorisx的博客
02-04 678
读论文：Fine-grained Image Classification via Combining Vision and Language 文章目录一、概述二、本文贡献三、网络结构1.目标定位2.视觉流3.语言流4.整体结构四、数据集五、原文链接 一、概述 大多数现有的细粒度图像分类方法都通过学习目标局部信息来实现更好的分类精度。但是存在两局限性。1.并不是所有的局部信息对于模型的学习都是有益处且必不可少的。2.细粒度图像分类需要的更详细的视觉描述，不能由局部位置或属性注释提供。针对以上两点局限，本文提
哥又来看论文了《Deepfake Video Detection Using Convolutional Vision Transformer》
weixin_56180495的博客
01-03 1244
我对这篇论文的评价：很水但平易近人！适合我这个小白（憨憨）看~
论文阅读《Combining EfficientNet and Vision Transformersfor Video Deepfake Detection》笔记
weixin_56180495的博客
12-31 444
最后，使用与两个分支的输出相对应的CLS令牌生成两个独立的对数。这些对数被求和，使用softmax函数生成最终的概率。特征图在输入vit之前被划分为7*7的图像块，随后经过线性映射，添加上位置编码再输入到MSA中添加注意力，使用的是efficientnet b0，cnn学习低级和局部信息。前者是EfficientNet B0，对s分支处理7 × 7个图像补丁，对l分支处理54 × 54个图像补丁。卷积交叉ViT使用两个不同的分支:s分支处理较小的斑块，l分支处理较大的斑块，以获得更宽的接受域。
【CViT】Deepfake Video Detection Using Convolutional Vision Transformer
sinat_39223177的博客
10-02 106
选择cnn和transformer联合学习，cnn擅长局部特征学习，transformer可以从局部喝全局特征学习。使我们的模型能够关联图像的每个像素，并理解非局部特征之间的关系。在训练和分类过程中同样重视数据预处理。使用了最大和最多样化的数据集进行Deepfake检测。CViT模型在从DFDC数据集中提取的各种面部图像集合上进行训练。还有在其他数据集扩展的发展前景。注：仅供学习交流。
Faceforensics++数据下载代码
01-25
Faceforensics++数据下载代码
关于论文《Deep Convolutional Pooling Transformer forDeepfake Detection》阅读笔记
weixin_56180495的博客
12-29 495
这篇论文先用CNN进行特征提取，随后输入到transformer中，但对transformer进行了改动，将transformer划分为3个阶段，每个阶段之后跟着一个全局池化操作，目的是为了降低特征的尺寸。MLP是一种全连接的神经网络结构，其目的是通过学习从卷积层提取的高级特征来执行分类、回归等任务。MLP的每个神经元与前一层的所有神经元相连接，因此MLP能够学习输入数据中的更复杂的模式和表示。3.一维向量输入到MLP中，MLP学习将这些高级特征映射到最终的输出，如分类标签。学习输入数据的局部特征。
Deepfake Detection Using Neural Networks
AI天才研究院
10-10 763
作者：禅与计算机程序设计艺术 1.背景介绍 近年来，在人工智能领域，很多技术已经突破了原有的技术瓶颈，比如图像分类、目标检测、语音识别等领域取得重大突破。随之而来的，产生了无数的应用场景。其中最引人注目的就是通过虚拟偶像或人工创造的影像内容，去欺骗或骗过不知情的受众。这种技术称作“DeepFake”
no.10 EfficientNet V2
weixin_44581312的博客
03-25 214
2 在我们实际的使用上，我们发现，虽然DW卷积理论上的计算量小，但是实际的速度没有想象的快。注意：这里的dropout层仅指Fused-MBConv模块以及MBConv模块中的dropout层，不包括最后全连接层前的dropout层。1 第一个问题就直接降低训练图像的尺寸，不仅能够加快训练速度，还能增大Batch，在no.1讲过，batch越大，训练效果越好。作者在v1中更关注准确率，参数数量以及FLOPs，但是理论计算量小代表不了推理速度，所以在v2中作者更关注模型的训练速度。
FaceForensics++数据库下载（一步步解析过程）
weixin_58183392的博客
04-07 2494
相信很多做deepfake相关研究的朋友，在对模型进行测试或者对潜前人的研究进行复现时，都需要下载一系列数据库并进行预处理等操作，而FaceForensics++数据库是一个由数千个使用不同DeepFake方法操纵的视频组成，并包含四个假子数据集，即DeepFake Detection (DFD)， DeepFake (DF)， Face2Face (F2F)和FaceSwap (FS)。将文后我给的代码粘贴并后缀改为.py文件，确保你的文件命名为FaceForensics++.py。
FaceForensics++数据集处理
weixin_45640448的博客
06-17 551
接下来我会更新一个对视频提取帧的脚本操作，大家多多支持一下。
FaceForensics和FaceForensics++【参考文献30和31】
Only_Big的博客
12-07 2272
【30】FaceForensics学术界最大的合成视频数据库之一 介绍了一个新的面部操作数据集，大约有50万张经过编辑的图像（来自1000多个视频）。这些操作是用最先进的面部编辑方法生成的。它超过了所有现有的视频操作数据集至少一个数量级。利用我们的新数据集，我们引入了经典图像取证任务的基准测试，包括分类和分割，考虑到在不同质量级别压缩的视频。此外，我们还引入了一种基准评估方法，用于创建具有已知基本真相的无法区分的伪造品. 【31】FaceForensics++学习检测操纵的面部图像 FaceForensic
Bag of Tricks and A Strong Baseline for Deep Person Re-identification
03-31
Deep person re-identification is the task of recognizing a person across different camera views in a surveillance system. It is a challenging problem due to variations in lighting, pose, and occlusion. To address this problem, researchers have proposed various deep learning models that can learn discriminative features for person re-identification. However, achieving state-of-the-art performance often requires carefully designed training strategies and model architectures. One approach to improving the performance of deep person re-identification is to use a "bag of tricks" consisting of various techniques that have been shown to be effective in other computer vision tasks. These techniques include data augmentation, label smoothing, mixup, warm-up learning rates, and more. By combining these techniques, researchers have been able to achieve significant improvements in re-identification accuracy. In addition to using a bag of tricks, it is also important to establish a strong baseline for deep person re-identification. A strong baseline provides a foundation for future research and enables fair comparisons between different methods. A typical baseline for re-identification consists of a deep convolutional neural network (CNN) trained on a large-scale dataset such as Market-1501 or DukeMTMC-reID. The baseline should also include appropriate data preprocessing, such as resizing and normalization, and evaluation metrics, such as mean average precision (mAP) and cumulative matching characteristic (CMC) curves. Overall, combining a bag of tricks with a strong baseline can lead to significant improvements in deep person re-identification performance. This can have important practical applications in surveillance systems, where accurate person recognition is essential for ensuring public safety.
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值