【EN+CC ViT】Combining EfficientNet and Vision Transformersfor Video Deepfake Detection

已于 2024-09-12 19:12:40 修改
阅读量17 收藏
点赞数
分类专栏： 论文阅读笔记 Deepfake 文章标签： 神经网络 深度学习
于 2024-09-12 19:11:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_39223177/article/details/142151873
版权

文章目录

Combining EfficientNet and Vision Transformersfor Video Deepfake Detection

会议：ICIAP 2022
作者：
在这里插入图片描述
code：
https://github.com/davide-coccomini/Combining-EfficientNet-and-Vision-Transformers-for-Video-Deepfake-Detection

key points

将各种类型的视觉变压器与卷积effentnet B0结合起来作为特征提取器

与最先进的方法不同，我们既不使用蒸馏方法，也不使用集合方法。此外，我们提出了一个基于简单投票方案的直接推理程序，用于处理同一视频镜头中的多个面孔。

图像的局部+全局特征分析【粗细粒度分析】

了解本专栏 订阅专栏 解锁全文 超级会员免费看
jessIoss
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
论文阅读-Combining EfficientNet and Vision Transformers for Video Deepfake Detection（深度鉴伪）
一位不是很硕的鉴伪方向硕士
11-20 789
传统基于CNN的方法在EfficientNetB7上效果很好，本文使用EfficientNet B0和ViT结合在DFDC数据集上取得了auc 0.951和f1 0.88的成绩，与DFDC数据集上最好的检测水平非常接近。将各种类型的视觉变换器与卷积EfficientNet B0相结合，提取人脸特征。不使用蒸馏法，也不使用集成法。而是一种基于简单投票的方案，用于处理同一视频镜头中的多个不同人脸。在时间上和跨多个人脸上 聚合推断出视频片段的真伪。
AAAI 2022 论文列表
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
CVPR2022论文列表（中英对照）
dovings的博客
07-04 1万+
CVPR论文列表，中英对照
【CVPR2020】计算机视觉与模式识别会议论文完全清单_Part2
TomRen
06-11 3323
CVPR 2020 的论文已经于6月10号放出 由于篇幅限制分两部分发出—>part1 Todo：word-cloud Relative Interior Rule in Block-Coordinate Descent Author: Tomas Werner,Daniel Prusa,Tomas Dlask Learning Combinatorial Solver for Graph Matching Author: Tao Wang,He Liu,Yidong Li,Yi Jin,Xi.
Hyperbolic Representation Learning for CV
连理o的博客
02-09 925
Hyperbolic Representation Learning for CV
通信行业最齐全的英语缩语手册
热门推荐
ShorminHsu的专栏
01-30 4万+
通信英语缩语手册A&EM Alarm & Event Management 告警与事件管理 A&VE Audio / Video Editor 音频/视频编辑器 A-A Analog-Analog 模模 A-D Analog-Digital 模数 A/D Analog / Digital 模拟/数字 A/V Audio / Video 音频/视频 A/VP Audio / Video Pane
论文阅读：DeepFake-Adapter: Dual-Level Adapter for DeepFake Detection（Deepfake模型快速调参）
一位不是很硕的鉴伪方向硕士
07-05 432
提出了一个针对深度伪造模型的高效的参数微调方法，考虑ViT模型能够提取到高级的语义信息，本研究利用参数微调方法微调ViT模型用于深度伪造检测。
deepfake视频检测-基于卷积Vision-Transformer实现的deepfake视频检测-优质项目实战.zip
04-08
在当前的数字化时代，深度伪造（Deepfake）技术的发展带来了一系列的社会问题，它可以通过人工智能手段篡改或合成视频，使得真实与虚假难以分辨。为了应对这一挑战，研究人员和开发者不断探索有效的检测方法，其中，...
Deepfake检测模型-PyDeepFakeDet项目复现实验报告-深度学习
一位不是很硕的鉴伪方向硕士
10-18 4339
该实验是对于https://github.com/wangjk666/PyDeepFakeDet模型的复现。PyDeepFakeDet 是一款集成的、可扩展的 Deepfake 检测工具。目标是提供最先进的 Deepfake 检测模型以及用于在常用 Deepfake 数据集上训练和评估新模型的接口。
深度学习入门：探索神经网络、感知器与损失函数
最新发布
2401_84670644的博客
09-12 1036
深度学习通过构建复杂的神经网络，能够自动从数据中学习并提取有用的特征，解决各种复杂的实际问题
机器学习--神经网络
ID246783的博客
09-12 668
神经网络 计算   神经网络非常简单，举个例子就理解了（最后一层的那个写错了，应该是 a1(3)a^{(3)}_1a1(3)​）：   notationnotationnotation： aj(i)a^{(i)}_jaj(i)​ 表示第 iii 层的第 jjj 个单元。w(j)w^{(j)}w(j) 表示权重矩阵，控制从 jjj 层到 j+1j + 1j+1 层的映射。   其中： a1(2)=g(w10(1)x0+w11(1)x1+w12(1)x2+w13(1)x3)a2(2)=g(w20(1)x0+w
神经网络案例实践之单层感知器求解-学习篇
qq_38925911的博客
09-12 247
首先给了五个输入样本，输入样本和位置信息如下所示，现在要学习一个模型，在二维空间中把两个样本分开，输入数据是个矩阵，矩阵中有五个样本，样本的维度是三维，三个维度分别表示偏置，x坐标，y坐标。对应的标签Y是 区分矩阵中的样本，例如：[1,2,3]对应1，[1,4,5]对应1，[1,1,1]对应-1，以此类推。令误差函数为L，预测值为 y，阈值函数f 为符号函数。单层感知器作为线性分类器被广泛应用。怎么样使用单层感知器求解这个问题？x,y表示实际的二维坐标。
神经网络中的那些浮点数
hawk2014bj的博客
09-12 355
如果可以用到 Ampere 或更高级的 GPU，如需要单精度，使用 TF32 是最好的选择，如选使用 TPU或者半精度，就选择 BF16 的混合精度方式进行计算。
时序预测 | Python实现ARIMA-LSTM差分自回归移动平均模型结合长短期记忆神经网络时间序列预测
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
09-12 298
时序预测 | Python实现ARIMA-LSTM差分自回归移动平均模型结合长短期记忆神经网络时间序列预测
TextCNN：文本卷积神经网络模型
weixin_45880844的博客
09-12 268
TextCNN（Text Convolutional Neural Network）是一种用于处理文本数据的卷积神经网（CNN）。通过在文本数据上应用卷积操作来提取局部特征，这些特征可以捕捉到文本中的局部模式，如n-gram（连续的n个单词或字符）。# 它继承自 PyTorch 的 nn.Module# __init__：类的构造函数，初始化模型，包括嵌入层、卷积层、dropout层和全连接层# 调用父类 nn.Module 的构造函数。
基于Pytorch框架的深度学习U2Net网络精细天空分割系统源码
修行之路
09-05 704
基于Pytorch框架的深度学习U2Net网络天空语义精细分割系统源码
Deep Learning-Based Object Pose Estimation:A Comprehensive Survey
一千零一夜的博客
09-12 452
基于深度学习的目标姿态估计：一份综合的调研
深度学习中常见的损失函数
技术宅学长的博客
09-12 390
不同的损失函数适用于不同的任务，回归任务中通常使用均方误差（MSE）和绝对误差（MAE），分类任务中使用交叉熵损失，物体检测和分割中使用IoU和Dice损失，而生成模型中使用对抗损失和重构损失。根据具体任务的特点选择合适的损失函数对于模型的性能有很大影响。
deepfake眨眼
10-04
Deepfake视频中的眨眼通常是不自然的。由于用于训练神经网络的图像数据往往是睁着眼睛的，Deepfake视频中人物的眨眼或不眨眼的方式往往与正常生理学规律不符。奥尔巴尼大学的研究人员发表的论文提出了一种可以检测Deepfake视频中不自然眨眼的技术。该技术使用了深度学习的方法，通过训练神经网络定位眨眼片段，并找出非自然眨眼运动的一系列帧。通过这种方法，可以识别出哪些是原始视频，哪些是Deepfake视频。 <span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [DeepFake学习记录（不更新了，该方向直接劝退）](https://blog.csdn.net/kaidikake/article/details/105224241)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *3* [Deepfake——深度造假视频在智能城市中的风险](https://blog.csdn.net/Chahot/article/details/123547095)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值