论文阅读-Joint Audio-Visual Deepfake Detection（音视频Deepfake检测）

已于 2023-02-17 15:27:53 修改
阅读量1.8k 收藏 9
点赞数 2
分类专栏： 读论文 文章标签： 论文阅读 音视频 深度学习 语音识别
于 2022-11-24 14:48:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43687860/article/details/128018032
版权

一、论文信息

论文名称：Joint Audio-Visual Deepfake Detection

会议：ICCV2021

作者团队：

二、动机与创新

动机

Visual deepfake上有许多检测方法和数据集，而对audio deepfake以及visual-audio两种模式之间的deepfake方法较少。Audio Deepfake主要有两个任务：1）TTS: text-to-speech文本转语音；2）VC：voice conversion语音转换（将一个人语音转为另一个人的声音）。

创新

本文提出一种新的视觉-听觉Deepfake联合检测任务，利用视觉和听觉两种模式之间的内在关系可以帮助deepfake检测。

a中第一行视频帧未被修改，第二行是换脸之后的唇部图片，文字是两个视频中的话；b中第一行也是真实的，伪造视频中的唇形与发音存在较大差异。c中最上面一行是真实的视频帧，对应的真实的声谱图在第二行，TTS生成的声谱图在第三行，听起来像“wow-mount”，由第一行和第三行组成的视

了解本专栏 订阅专栏 解锁全文 超级会员免费看
海拉鲁的小厨娘
关注
  • 2
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
订阅专栏
Multi-Perspective-LSTM-for-Joint-Visual-Representation-Learning
03-20
LSTM联合视觉表示学习的多视角 MPLSTM — TensorFlow-Keras正式实施用于联合视觉表示学习的多视角LSTM Alireza Sepas-Moghaddam，Fernando Pereira，Paulo Lobato Correia，Ali Etemad CVPR'21论文： ：//arxiv.org/...
一文速览深度伪造检测（Detection of Deepfakes）：未来技术的守门人
定期分享我的发现和想法，感谢你的陪伴和支持
02-29 4938
在数字化时代的高速公路上，深度伪造技术（Deepfake）如同一辆无人驾驶的跑车，其速度惊人，潜力巨大，同时也带来了潜在的危险。深度伪造检测（Detection of Deepfakes）不仅是一场科技界的军备竞赛，更是未来数字内容安全领域的黄金矿脉。本文将探讨这一技术的核心原理，揭示其如何成为数字时代守门人的角色。重现和替换的对比编辑合成：参考：https://zhuanlan.zhihu.com/p/139489768。
图像检测系列之（12）异常检测（13）拼接伪造（14）deepfake | ICCV2021生成对抗GAN汇总梳理...
idol24的博客
03-22 2807
（1）GAN改进系列 | 最新ICCV2021生成对抗网络GAN论文梳理汇总图像编辑系列之（2）基于StyleGAN（3）GAN逆映射（4）人脸 （5）语义生成 | ICCV2021生成对抗GAN梳理汇总图像恢复系列之（6）超分（7）反光去除（8）光斑去除 （9）阴影去除（10）水下图像失真去除 | ICCV2021生成对抗GAN图像恢复系列（11）之修复（inpaint...
deepfake detection 基于指纹、基于图像和基于频谱的检测方法
m0_57790267的博客
11-10 314
深度伪造检测（Deepfake Detection）是指检测和识别深度伪造技术所生成的虚假图像、音频、视频或文本。深度伪造技术使用深度学习和人工智能方法来生成虚假内容，这可能包括合成面部图像、模仿声音、修改视频或生成虚假文本等。深度伪造检测是一个不断发展的领域，研究人员和工程师不断提出新的方法和技术，以提高检测的准确性和鲁棒性。随着深度伪造技术的不断演进，深度伪造检测方法也在不断发展，以适应新的挑战。深度伪造工具可能会在生成的内容中留下某些独特的噪音、伪造工具的标志或其他可识别的特征。
DeepFake Detection Based on Discrepancies
qq_40790852的博客
09-16 727
论文简读《DeepFake Detection Based on Discrepancies Between Faces and their Context》 这篇论文发表在IEEE transactions on pattern analysis and machine intelligence，出版时间：2021-Jun-29 基于面孔和背景差异的deepfake检测 这篇论文提出了一种识别假图像的新信号，该信号是基于比较内部面部区域(直接操作的区域)和外部环境(我们所知的所有面部操作方法都不会改变
论文阅读-AVoiD-DF: Audio-Visual Joint Learning for Detecting Deepfake（多模态数据集DefakeAVMiT+多模态鉴伪方法AVoiD-DF）
一位不是很硕的鉴伪方向硕士
05-30 1282
以前的方法仅侧重单模态的伪造，即使有多模态的数据也只是将音频信号当做监督信号，忽略了音频被伪造的可能。本文提出一个新的多模态基准数据集DefakeAVMiT，其包含足够多的视频和音频伪造内容，两个模态均有伪造。本文提出了一种检测Deepfake的视听联合学习方法（AVoiD-DF），其利用视听不一致性进行多模态伪造检测。
Multi-attentional Deepfake Detection论文阅读笔记
weixin_45180140的博客
03-26 4362
Multi-attentional Deepfake Detection Abstract 以往的区分人脸造假的方法就是用一个网络先提取特征，然后再进行二分类（real/fake），作者提出利用Attention尽心细粒度分类； 主要过程如下： 多个空间注意力头，使网络注意到不同的局部信息 纹理特征增强块，用于放大浅层特征中的子纹理瑕疵 在注意图的指导下，聚集低层次的纹理特征和高层次的语义特征 此外，为了解决这个网络的学习困难，我们进一步引入了一种新的区域独立性损失和一种注意力引导的数据挖掘策略。 1.
语音伪造检测论文
岁月如歌
04-05 1227
语音伪造检测论文
造假AI又进化！只要一张照片，说话唱歌视频自动生成，降维打击Deepfakes丨已开源...
量子位
06-23 1761
郭一璞 白安妮 发自 凹非寺量子位 报道 | 公众号 QbitAI曾造出无数“小视频”、恶搞过多位明星的知名换脸神器Deepfakes，这下被降维打击了。这个新AI不再...
深度学习系列49：DeepFaker
kittyzc的博客
06-24 1343
一般地，deepfake可划分为如下四类：重现（reenactment），替换(replace)，编辑(editing)和合成(synthesis)。 针对人脸的4种类别展示如下： 重现和替换的区别是： 重现相当于安吉拉宝贝上阵，但是脸部表情按照替身去演绎；替换则相当于替身直接上阵，然后换成安吉拉宝贝的脸。核心技术：第一种是使用自动编码器然后操纵中间的latent向量来达到目的；第二种是使用GAN进行迁移。 各项任务需要一些额外的模块。我们以First Order Motion Model for Ima
Deep Learning Based Joint Detection and Decoding of Non-Orthogonal Multiple Access Systems
02-08
Deep Learning Based Joint Detection and Decoding of Non-Orthogonal Multiple Access Systems
论文研究-Joint Relay Selection and Power Allocation in Cooperative-Diversity System.pdf
08-15
Joint Relay Selection and Power Allocation in Cooperative-Diversity System，白皛，，In this paper, we propose two novel algorithms where relay selection and power allocation are jointly considered in ...
har-joint-model:香气
05-19
这是我们的论文“ AROMA：使用可穿戴传感器的基于深度多任务学习的简单和复杂的人类活动识别方法”的实现。 这项工作已被Ubicomp 2018接受。 项目结构 要求：TensorFlow 1.2.1，Python 2.7 config.py：包含模型将...
论文研究-Joint Node Localization and Error Correction\in Wireless Sensor Networks.pdf
08-16
一种无线传感器网络中的联合纠错与节点自定位算法，罗君，石春，无线传感器网络中的节点在自定位时,所用到的距离信息通常会受到大的测量错误的干扰,如果将错误的距离信息用于定位,将会导致错误的
【论文阅读——联邦学习场景下基于参与方贡献的激励机制】
qq_45467608的博客
05-16 879
本文提出了一种基于公平性的联邦学习激励机制(FedFAIM)。
论文阅读- Stylometric Detection of AI-Generated Text inTwitter Timelines
qq_40671063的博客
05-16 983
预训练语言模型的最新进展为大规模生成类人文本提供了方便的方法。尽管这些生成能力在突破性应用方面具有巨大潜力，但它也可能成为对手生成错误信息的工具。特别是，像推特这样的社交媒体平台非常容易受到人工智能产生的错误信息的影响。一个潜在的威胁场景是当对手劫持了一个可信的用户帐户，并在公司内部使用自然语言生成器来生成错误信息。这种威胁需要在给定用户的推特时间轴上对人工智能生成的推文进行自动检测器。然而，推文本身就很短，因此，
【论文阅读——众包场景下基于参与方可靠性的激励机制】
qq_45467608的博客
05-17 600
该工作描述一个典型的众包系统，它由三部分组成：任务请求者、众包平台和动态的参与方集合。任务请求者在平台上发布任务，平台将这些任务分配给参与方，并在收到参与方的回答后进行真值推断，然后将最终结果发送给任务请求者。Ww1w2wMWw1​w2​...wM​表示M个参与方集合每个参与方w∈Ww\in Ww∈W在时间窗口内随机到达平台，且每个参与方具有一个容量wτw.\tauwτ(可以完成的最大任务数)该工作专注于数值任务并考虑两种类型的任务NNN。
BERT for Joint Intent Classification and Slot Filling 论文阅读
weixin_44609958的博客
05-15 826
意图分类和槽填充是自然语言理解中两个重要的任务。它们通常受制于规模较小的人工标记训练数据，导致泛化能力较差，特别是对于罕见词汇。最近，一种新的语言表示模型BERT（Bidirectional Encoder Representations from Transformers）在大规模未标记语料库上进行了深度双向表示的预训练，通过简单微调后为各种自然语言处理任务创建了最先进的模型。然而，对于自然语言理解，尚未有太多关于探索BERT的努力。在本工作中，我们提出了一种基于BERT的联合意图分类和槽填充模型。
视频重绘Temporal-Kit插件教程
最新发布
lucky_kai的博客
05-22 321
Temporal-Kit插件：提取视频中的关键帧
associative embedding: end-to-end learning for joint detection and grouping
04-11
b'associative embedding: end-to-end learning for joint detection and grouping'是一篇论文，提出了一种端到端的联合检测和分组学习方法，称为关联嵌入。该方法将目标检测和实例分割任务结合起来，可以实现对图像中不同物体的检测和分割，并将它们分成不同的组别，具有较高的准确性和效率。关联嵌入还可以处理一些挑战性问题，如重叠目标，不同比例和形状的目标等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值