论文阅读-Combining EfficientNet and Vision Transformers for Video Deepfake Detection（深度鉴伪）

已于 2022-11-21 13:30:20 修改
阅读量793 收藏 4
点赞数
分类专栏： 读论文 文章标签： 深度学习 人工智能 神经网络
于 2022-11-20 20:34:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43687860/article/details/127953572
版权
该论文提出了一种结合EfficientNet和Vision Transformers的方法，用于视频Deepfake检测。在DFDC数据集上取得了接近最佳检测水平的auc 0.951和f1 0.88。通过人脸检测器提取人脸，使用Efficient ViT和Convolutional Cross ViT网络，结合局部和全局信息进行真伪判断。实验表明，这种方法对于视频中多个不同人脸的检测具有较高的准确性。
摘要由CSDN通过智能技术生成

一、论文信息

论文名称：Combining EfficientNet and Vision Transformers for Video Deepfake Detection

论文代码：https://github.com/davide-coccomini/Combining-EfficientNet-and-Vision-Transformers-for-Video-Deepfake-Detection

会议：ICIAP2022

作者团队：

二、创新

传统基于CNN的方法在EfficientNetB7上效果很好，本文使用EfficientNet B0和ViT结合在DFDC数据集上取得了auc 0.951和f1 0.88的成绩，与DFDC数据集上最好的检测水平非常接近。将各种类型的视觉变换器与卷积EfficientNet B0相结合，提取人脸特征。不使用蒸馏法，也不使用集成法。而是一种基于简单投票的方案，用于处理同一视频镜头中的多个不同人脸。在时间上和跨多个人脸上 聚合推断出视频片段的真伪。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
海拉鲁的小厨娘
关注
专栏目录
订阅专栏
【EN+CC ViT】Combining EfficientNet and Vision Transformersfor Video Deepfake Detection
sinat_39223177的博客
09-12 30
使用预训练的权重初始化EfficientNet B0特征提取器，并对其进行微调，以允许网络的最后一层为这个特定的下游任务执行更一致和合适的提取。从EfficientNet B0卷积网络中提取的特征简化了Vision Transformer的训练，因为CNN特征已经嵌入了图像中重要的低级和局部信息。最后，使用与两个分支的输出相对应的CLS令牌生成两个独立的日志。，它处理s分支的7×7图像补丁，处理l分支的56 × 56图像补丁。S分支处理较小的斑块，L分支处理较大的斑块，以获得更宽的接受域。
结合EfficientNet和视觉变换器进行视频假检测_Combining EfficientNet and Vision Tr
02-08
结合EfficientNet和视觉变换器进行视频假检测_Combining EfficientNet and Vision Transformers for Video Deepfake Detection.pdf
【论文笔记】Combining EfficientNet and Vision Transformers for Video Deepfake Detection
m0_61628700的博客
10-15 1059
Combining EfficientNet and Vision Transformers for Video Deepfake Detection 题目：结合高效网络和视觉变压器进行视频深度虚假检测（结合）
深度伪造检测论文 · Combining EfficientNet and Vision Transformers for Video Deepfake Detection
Bysen32
07-27 2598
本文通过使用EfficientNet作为图像块的特征前置提取器处理ViT的输入，并提出一种（没啥新颖度，用来凑字数的）投票方法。以较小的参数代价，实现了与SOTA方法可比较（实际上差得远）的性能。
论文阅读《Combining EfficientNet and Vision Transformersfor Video Deepfake Detection》
weixin_56180495的博客
02-07 559
（b）将预训练好的模型提取后的特征图，分为两个分支，一个是s分支，将图像划分为7*7的patch块，另一个是L分支，将图像划分为64*64的patch块，这样做的目的是以捕获更丰富的信息和上下文。最后，使用与两个分支的输出相对应的CLS令牌生成两个独立的日志。这些对数被求和，产生最终的概率。（a）第一种是使用预训练好的efficientnet b0进行特征提取，然后将图像切分成7*7的patch块经过线性映射，输入到vit中进行下一步处理。S分支将图像划分为较小的7x7的patch块，以便。
哥又来看论文了《Deepfake Video Detection Using Convolutional Vision Transformer》
weixin_56180495的博客
01-03 1173
我对这篇论文的评价：很水但平易近人！适合我这个小白（憨憨）看~
读论文：Fine-grained Image Classification via Combining Vision and Language
dorisx的博客
02-04 645
读论文：Fine-grained Image Classification via Combining Vision and Language 文章目录一、概述二、本文贡献三、网络结构1.目标定位2.视觉流3.语言流4.整体结构四、数据集五、原文链接 一、概述 大多数现有的细粒度图像分类方法都通过学习目标局部信息来实现更好的分类精度。但是存在两局限性。1.并不是所有的局部信息对于模型的学习都是有益处且必不可少的。2.细粒度图像分类需要的更详细的视觉描述，不能由局部位置或属性注释提供。针对以上两点局限，本文提
Deep plug-and-play priors for spectral snapshot compressive imaging
01-25
We propose a plug-and-play (PnP) method that uses deep-learning-based denoisers as regularization priors for spectral snapshot compressive imaging (SCI). Our method is efficient in terms of ...
论文阅读《Combining EfficientNet and Vision Transformersfor Video Deepfake Detection》笔记
weixin_56180495的博客
12-31 414
最后，使用与两个分支的输出相对应的CLS令牌生成两个独立的对数。这些对数被求和，使用softmax函数生成最终的概率。特征图在输入vit之前被划分为7*7的图像块，随后经过线性映射，添加上位置编码再输入到MSA中添加注意力，使用的是efficientnet b0，cnn学习低级和局部信息。前者是EfficientNet B0，对s分支处理7 × 7个图像补丁，对l分支处理54 × 54个图像补丁。卷积交叉ViT使用两个不同的分支:s分支处理较小的斑块，l分支处理较大的斑块，以获得更宽的接受域。
Faceforensics++数据下载代码
01-25
Faceforensics++数据下载代码
Deepfake Detection Using Neural Networks
程序员光剑
10-10 723
作者：禅与计算机程序设计艺术 1.背景介绍 近年来，在人工智能领域，很多技术已经突破了原有的技术瓶颈，比如图像分类、目标检测、语音识别等领域取得重大突破。随之而来的，产生了无数的应用场景。其中最引人注目的就是通过虚拟偶像或人工创造的影像内容，去欺骗或骗过不知情的受众。这种技术称作“DeepFake”
no.10 EfficientNet V2
weixin_44581312的博客
03-25 190
2 在我们实际的使用上，我们发现，虽然DW卷积理论上的计算量小，但是实际的速度没有想象的快。注意：这里的dropout层仅指Fused-MBConv模块以及MBConv模块中的dropout层，不包括最后全连接层前的dropout层。1 第一个问题就直接降低训练图像的尺寸，不仅能够加快训练速度，还能增大Batch，在no.1讲过，batch越大，训练效果越好。作者在v1中更关注准确率，参数数量以及FLOPs，但是理论计算量小代表不了推理速度，所以在v2中作者更关注模型的训练速度。
FaceForensics++数据库下载（一步步解析过程）
weixin_58183392的博客
04-07 2108
相信很多做deepfake相关研究的朋友，在对模型进行测试或者对潜前人的研究进行复现时，都需要下载一系列数据库并进行预处理等操作，而FaceForensics++数据库是一个由数千个使用不同DeepFake方法操纵的视频组成，并包含四个假子数据集，即DeepFake Detection (DFD)， DeepFake (DF)， Face2Face (F2F)和FaceSwap (FS)。将文后我给的代码粘贴并后缀改为.py文件，确保你的文件命名为FaceForensics++.py。
FaceForensics++数据集处理
最新发布
weixin_45640448的博客
06-17 418
接下来我会更新一个对视频提取帧的脚本操作，大家多多支持一下。
FaceForensics和FaceForensics++【参考文献30和31】
Only_Big的博客
12-07 2193
【30】FaceForensics学术界最大的合成视频数据库之一 介绍了一个新的面部操作数据集，大约有50万张经过编辑的图像（来自1000多个视频）。这些操作是用最先进的面部编辑方法生成的。它超过了所有现有的视频操作数据集至少一个数量级。利用我们的新数据集，我们引入了经典图像取证任务的基准测试，包括分类和分割，考虑到在不同质量级别压缩的视频。此外，我们还引入了一种基准评估方法，用于创建具有已知基本真相的无法区分的伪造品. 【31】FaceForensics++学习检测操纵的面部图像 FaceForensic
计算机视觉论文-2021-07-07
中科院AI算法工程师的博客
07-08 1833
本专栏是计算机视觉方向论文收集积累，时间：2021年7月7日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:Morphological Classification of Galaxies in S-PLUS Using An Ensemble of Convolutional Networks AUTHORS: N. M. CARDOSO...
抛弃注意力，比EfficientNet快3.5倍，类Transformer新模型跨界视觉任务实现新SOTA
我爱计算机视觉
10-19 809
本文经机器之心（almosthuman2014）授权转载，禁止二次转载.选自OpenReview机器之心编译机器之心编辑部Transformer 用在图像识别上会存在计算效率过低的挑战...
Bag of Tricks and A Strong Baseline for Deep Person Re-identification
03-31
Deep person re-identification is the task of recognizing a person across different camera views in a surveillance system. It is a challenging problem due to variations in lighting, pose, and occlusion. To address this problem, researchers have proposed various deep learning models that can learn discriminative features for person re-identification. However, achieving state-of-the-art performance often requires carefully designed training strategies and model architectures. One approach to improving the performance of deep person re-identification is to use a "bag of tricks" consisting of various techniques that have been shown to be effective in other computer vision tasks. These techniques include data augmentation, label smoothing, mixup, warm-up learning rates, and more. By combining these techniques, researchers have been able to achieve significant improvements in re-identification accuracy. In addition to using a bag of tricks, it is also important to establish a strong baseline for deep person re-identification. A strong baseline provides a foundation for future research and enables fair comparisons between different methods. A typical baseline for re-identification consists of a deep convolutional neural network (CNN) trained on a large-scale dataset such as Market-1501 or DukeMTMC-reID. The baseline should also include appropriate data preprocessing, such as resizing and normalization, and evaluation metrics, such as mean average precision (mAP) and cumulative matching characteristic (CMC) curves. Overall, combining a bag of tricks with a strong baseline can lead to significant improvements in deep person re-identification performance. This can have important practical applications in surveillance systems, where accurate person recognition is essential for ensuring public safety.
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值