论文阅读-NOLANet多模态伪造检测

已于 2023-02-17 15:31:37 修改
阅读量2.2k 收藏 18
点赞数 5
分类专栏： 读论文 文章标签： 深度学习 人工智能 神经网络
于 2022-10-18 22:32:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43687860/article/details/127398094
版权
本文介绍了一种名为NOLANet的多模态深度学习方法，用于检测深度伪造视频。NOLANet包含三个子网络：VSNet（视觉+频谱）、FourierNet（音频信号+频谱）和LipSpeech（唇读+语音）。通过融合不同模态的特征，NOLANet提高了检测精度，尤其是在音频和视觉信息的对齐方面。研究使用了DFDC数据集进行训练和测试，结果显示XceptionNet与其他模态特征结合时表现最佳。
摘要由CSDN通过智能技术生成

一、论文信息：

  • 题目：Deepfake Video Detection Based on Spatial,Spectral, and Temporal Inconsistencies UsingMultimodal Deep Learning（多模态伪造检测——视觉+频谱+语音）

  • 作者团队：

  • 会议：AIPR 2020

二、背景与创新

  1. 背景：合成视频威胁到数字媒体的信任与隐私，许多deepfake检测方法使用单帧视频，并且只专注于图像中的空间信息或被操纵视频的时间不一致性来实现鉴伪，单模态。

  1. 创新：作者提出一种混合深度学习方法，建立了一个多模态网络来检测深度伪造视频，主要包括三个子网络：唇读+语音识别特征、音

了解本专栏 订阅专栏 解锁全文 超级会员免费看
论文阅读-Voice-Face Homogeneity Tells Deepfake（VFD多模态鉴伪）
一位不是很硕的鉴伪方向硕士
10-18 1445
1)提出语音人脸匹配检测模型（VFD）。通过面部与音频的内在相关性进行deepfake检测，学习面部和音频本质特征，拉近匹配的音视频，分离不匹配的音视频。 2)预训练-微调范式减轻了对辅助数据的要求，减少甚至不用微调伪造数据集，可以快速迁移到各种deepfake数据集，而不是关注指定的人脸区域。
多模态深度伪造
qq_45540735的博客
03-31 408
目前深度伪造在多媒体文件的合成和篡改中主 要是针对在图片和视频中的面部和肢体动作的篡改 以及语音方面的修改. 面部篡改主要分为 2 类：1）使 用源图片人物身份替换目标图片人物身份的方法， 主要包括面部替换和面部转换 2 种；针对人脸的深度伪造的生成技术一般包含 4 个 步骤：1）使用人脸识别算法检测目标图片中的人脸；因为深度伪造生成的各种技术之间存在一定的 共通性，因此本节对深度伪造生成技术的生成模型 进行总结，并介绍深度伪造技术中人脸伪造技术和 语音伪造技术的基本步骤。
喜报 | 小米AI实验室团队在 IJCAI 2024 语音深度鉴伪识别挑战赛中获得冠军！
最新发布
小米云技术
08-16 133
近日，小米AI实验室团队在人工智能领域的A类顶会 IJCAI 2024 收录赛事——第九届 FinVolution 全球数据科学大赛：Deepfake Speech Detection Challenge 中，成功摘得的桂冠。并受组委会邀请，于 IJCAI 2024 会议上分享其相关成果和经验。IJCAI会议自1969年首次举办以来，已成为人工智能领域最具权威、最高水平、最具影响力的学术盛会之一，...
多模态虚假新闻检测论文分享（1）MVAE: Multimodal Variational Autoencoder for Fake News Detection
weixin_44791273的博客
03-04 2275
仅使用帖子内容（即文本和附加图像）对社交媒体帖子进行假新闻检测
语音伪造检测论文
岁月如歌
04-05 1497
语音伪造检测论文
paddlenlp:社交网络中多模态虚假媒体内容核查（代码篇）
yeverwen的博客
08-04 883
本次记录主要还是以学习为主，抽了工作之余来进行baseline的翻译和整理。探索了一个带大家最快上手的路径，降低大家的入门难度。
论文阅读笔记——【NOLANet】DF Video Detection Based on Spatial, Spectral, and Temporal Inconsistencies
sinat_39223177的博客
03-13 955
Detection(Blaze):检测面部，裁剪到128*128；Extraction(FANet):裁剪出眉毛眼睛、鼻子和唇部。NOLANet以其原始的形式从输入的视频中获取音频。
基于多模态学习的虚假新闻检测研究
zenRRan的博客
09-11 1127
来自：专知进NLP群—>加入NLP交流群社交媒体在给人们带来便利的同时，也成为虚假新闻恣意传播的渠道，如果不及时发现遏止，极易引 发群众恐慌，激起社会动荡。因此，探索准确高效的虚假新闻检测技术具有极高的理论价值和现实意义。本文对虚假新闻相关检测技术做了全面综述。首先，对多模态虚假新闻的相关概念进行了整理和归纳，并分析了单 模态和多模态新闻数据集的变化趋势。其次，介绍了基于机器学习和深度学习的...
MRHFR：基于不同阅读习惯的多模态虚假新闻检测
komjay的博客
04-21 796
在多模态领域中，主要存在两个核心问题：一致性对齐问题和交互融合问题。一致性对齐问题主要指不同模态的信息匹配，例如实体对齐、语义对齐，例子有：文本中的“男人”与图片中男子指代一个人。交互融合问题指不同模态的信息如何进行合理的融合。本文提出一种新型的将新闻文本和图像两种模态进行融合的方法，以提升对虚假新闻的检测。本文虽然只使用了文本和图像的信息融合， 但是这种结合方法似乎可以运用到更多种模态的融合当中，这种混合使用各种模型，以一定逻辑组合在一起的模态融合方法似乎是一个很主流的研究方向。V_%7Bg%7D。
【论文阅读】Multimodal Fusion with Co-Attention Networks for Fake News Detection --- 虚假新闻检测，多模态融合
热门推荐
me_yundou的博客
11-21 1万+
本博客系本人理解该论文之后所写，非逐句翻译，预知该论文详情，请参阅论文原文。 论文标题：Multimodal Fusion with Co-Attention Networks for Fake News Detection； 作者：Yang Wu, Pengwei Zhan, Yunjian Zhang, Liming Wang, Zhen Xu； 中国科学院大学； 出处：ACL 2021； 摘要： 靠人工识别谣言是费时费力的，所以急需自动识别谣言的模型。但是现有谣言检测模型在融合多模态特征方面
论文笔记：相似感知的多模态假新闻检测
zly_Always_be的博客
02-10 2027
论文笔记：相似感知的多模态假新闻检测
如何判别假新闻？多模态假新闻检测
NLPlunwenjiedu的博客
12-20 2349
作者丨周鹏（公众号原创作者名：双鸭山学长） 学校丨中山大学硕士 研究方向丨计算语言学、语言加工、认知与教学 多模态假新闻细粒度检测基准数据集Fakeddit： https//aclanthologorg/2020.lrec-1.755. 研究背景简述 数字媒体的使用和高效传播，为人类社会带来了诸如促进社会互动，改善信息共享等好处，但假新闻、假消息也出现了前所未有的激增。 尤其近两年由于新冠疫情的影响，社交媒体上关于疫苗、病毒等的虚假信息泛滥，甚至导致疫苗接种犹豫的增加(..
【大模型+专栏】得助新一代多模态防伪大模型，构建最强安全防线
Dezhuzhineng的博客
05-24 484
近年来，活体攻击造成的欺诈风险呈现高损失态势。根据身份验证提供商Sumsub最新年度报告，2022年至2023年期间，全球多国与深度伪造相关的身份欺诈案件激增，例如菲律宾的诈骗企图数量同比增长4500%。日渐泛滥的金融黑灰产有的已形成有组织的黑色产业链、非法利益链，涉及骗贷、刷单、盗刷、洗钱等一系列金融欺诈，据统计信息盗取达百亿条，金融业务欺诈达75亿。国内某知名银行曾被犯罪分子用假脸先后6次攻破活体检测，盗刷客户储蓄卡近43万元，对行方信誉、声誉造成严重影响。
论文阅读-AVoiD-DF: Audio-Visual Joint Learning for Detecting Deepfake（多模态数据集DefakeAVMiT+多模态鉴伪方法AVoiD-DF）
一位不是很硕的鉴伪方向硕士
05-30 1727
以前的方法仅侧重单模态的伪造，即使有多模态的数据也只是将音频信号当做监督信号，忽略了音频被伪造的可能。本文提出一个新的多模态基准数据集DefakeAVMiT，其包含足够多的视频和音频伪造内容，两个模态均有伪造。本文提出了一种检测Deepfake的视听联合学习方法（AVoiD-DF），其利用视听不一致性进行多模态伪造检测。
MISINFORMATION DETECTION IN SOCIAL MEDIA VIDEO POSTS
weixin_40621504的博客
03-02 1861
通过《MISINFORMATION DETECTION IN SOCIAL MEDIA VIDEO POSTS》了解misinformation detection
文本推理_CVPR 2020 | 细粒度文本视频跨模态检索
weixin_32141253的博客
01-08 871
本文介绍的是CVPR 2020的论文《Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning》(已开源)，文章作者是中国人民大学博士生陈师哲同学，这项工作是陈师哲同学在澳大利亚阿德莱德大学吴琦老师组访问时所完成。作者|陈师哲编辑 | 贾 伟论文链接：http://arxiv.org/abs/2003....
论文简读《视听觉深度伪造检测技术研究综述》
qq_40790852的博客
11-23 6146
​ 《视听觉深度伪造检测技术研究综述》 概述： ​ 深度学习被广泛的应用于各个领域，自然语言处理、计算机视觉、无人驾驶等，推动了人工智能的发展。但在带来好处的同时，也对信息安全方面也有一定的威胁，深度学习可以能够生成逼真的虚假图像及音视频内容。本文介绍了深度伪造的背景和内容生成原理，概述和分析了针对不同类型伪造内容（包括音视图像）的检测方法和数据集。展望了未来的深度伪造检测和防御的研究方向和挑战。 文章结构： 第 1 章 引言 第 2 章 扼要介绍了深度伪造生成技术的基本原理及发展现状 第 3 章 对已存在
Detecting and Grounding Multi-Modal Media Manipulation
weixin_43780665的博客
10-13 1153
错误信息已经成为一个紧迫的问题。虚假媒体，无论是视觉形式还是文字形式，都在网络上广泛存在。虽然已经提出了各种深度伪造检测和文本假新闻检测方法，但它们仅针对基于二元分类的单模态伪造而设计，无法对不同模态的细微伪造痕迹进行分析和推理。本文重点研究了多模态伪造媒体的一个新的研究问题，即多模态媒体操纵的检测和定位(DGM4)。DGM4的目的不仅是检测多模态媒体的真实性，而且要对被操纵的内容(即图像边界框和文本标记)进行定位，这需要对多模态媒体操纵进行更深层次的推理。
模糊-PID多模态控制提升位置跟踪系统性能
本文探讨了"基于Fuzzy-PID多模态控制的位置跟踪系统"这一主题，发表于2008年的学术期刊上。作者张涛、薛鹏骞和蒋静坪分别来自华北科技学院电子信息工程系和浙江大学电气工程学院。文章针对传统的PID控制和模糊控制在...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值