论文阅读-NOLANet多模态伪造检测

已于 2023-02-17 15:31:37 修改
阅读量1.9k 收藏 16
点赞数 5
分类专栏： 读论文 文章标签： 深度学习 人工智能 神经网络
于 2022-10-18 22:32:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43687860/article/details/127398094
版权

一、论文信息：

  • 题目：Deepfake Video Detection Based on Spatial,Spectral, and Temporal Inconsistencies UsingMultimodal Deep Learning（多模态伪造检测——视觉+频谱+语音）

  • 作者团队：

  • 会议：AIPR 2020

二、背景与创新

  1. 背景：合成视频威胁到数字媒体的信任与隐私，许多deepfake检测方法使用单帧视频，并且只专注于图像中的空间信息或被操纵视频的时间不一致性来实现鉴伪，单模态。

  1. 创新：作者提出一种混合深度学习方法，建立了一个多模态网络来检测深度伪造视频，主要包括三个子网络：唇读+语音识别特征、音频信号+频谱、视觉+频谱。

三、网络结构

NOLANet:

了解本专栏 订阅专栏 解锁全文 超级会员免费看
海拉鲁的小厨娘
关注
  • 5
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
订阅专栏
论文研究-基于多模态信息融合的新闻独白镜头检测.pdf
09-12
新闻视频中的独白镜头具有较大的信息量，在视频检索和挖掘中具有较高的应用价值。提出了一种融合音频、视频、时域以及上下文信息等多模态特征进行独白场景检测的方法。首先利用规则移除广告和“其他”镜头，然后应用聚类的方法检测主持人镜头，最后应用条件随机场（CRFs）模型标记独白和记者镜头。该方法无需额外的信息，具有较好的普适性，实验取得了较好的性能。
论文研究-多模态情感识别研究进展.pdf
07-22
针对多模态情感特征提取与融合的技术难点，列举了目前应用较广的多模态情感识别数据库，介绍了面部表情和语音情感这两个模态的特征提取技术，重点阐述了多模态情感融合识别技术，主要对多模态情感特征融合策略和融合方法进行了综述，对不同算法下的识别效果进行了对比。最后，对多模态情感识别研究中存在的问题进行了探讨，并对未来的研究方向进行了展望，旨在为研究此方向建立系统的知识体系，借此推动与此相关问题的进展。
多模态虚假新闻检测论文分享（1）MVAE: Multimodal Variational Autoencoder for Fake News Detection
最新发布
weixin_44791273的博客
03-04 1371
仅使用帖子内容（即文本和附加图像）对社交媒体帖子进行假新闻检测
论文简读《视听觉深度伪造检测技术研究综述》
qq_40790852的博客
11-23 5769
​ 《视听觉深度伪造检测技术研究综述》 概述： ​ 深度学习被广泛的应用于各个领域，自然语言处理、计算机视觉、无人驾驶等，推动了人工智能的发展。但在带来好处的同时，也对信息安全方面也有一定的威胁，深度学习可以能够生成逼真的虚假图像及音视频内容。本文介绍了深度伪造的背景和内容生成原理，概述和分析了针对不同类型伪造内容（包括音视图像）的检测方法和数据集。展望了未来的深度伪造检测和防御的研究方向和挑战。 文章结构： 第 1 章 引言 第 2 章 扼要介绍了深度伪造生成技术的基本原理及发展现状 第 3 章 对已存在
【学习笔记】视频检测方法调研
W9XM96的博客
07-27 1784
视频检测方法的调研报告，包括视频目标跟踪、视频异常检测、深度伪造人脸检测、异常行为识别等多个场景
论文阅读-单中心损失指导的频率感知鉴别特征学习在人脸伪造检测中的应用
一位不是很硕的鉴伪方向硕士
04-26 4102
本文提出了一种新的单中心损失SCL（single-center loss），是一种双流网络，但他们不是完全用孪生网络，而是在中间部分融合特征，然后再继续提取特征，节约了参数。
视频目标移除检测(Object Removal Forgery Detection)学习笔记
qq_39969848的博客
01-11 1194
视频篡改检测的子方向，即视频目标移除检测的相关笔记和近几年的论文，个人感觉这个方向仍有很多做的空间和亟需解决的问题。
多模态深度伪造
qq_45540735的博客
03-31 330
目前深度伪造在多媒体文件的合成和篡改中主 要是针对在图片和视频中的面部和肢体动作的篡改 以及语音方面的修改. 面部篡改主要分为 2 类：1）使 用源图片人物身份替换目标图片人物身份的方法， 主要包括面部替换和面部转换 2 种；针对人脸的深度伪造的生成技术一般包含 4 个 步骤：1）使用人脸识别算法检测目标图片中的人脸；因为深度伪造生成的各种技术之间存在一定的 共通性，因此本节对深度伪造生成技术的生成模型 进行总结，并介绍深度伪造技术中人脸伪造技术和 语音伪造技术的基本步骤。
基于多模态学习的虚假新闻检测研究
zenRRan的博客
09-11 935
来自：专知进NLP群—>加入NLP交流群社交媒体在给人们带来便利的同时，也成为虚假新闻恣意传播的渠道，如果不及时发现遏止，极易引 发群众恐慌，激起社会动荡。因此，探索准确高效的虚假新闻检测技术具有极高的理论价值和现实意义。本文对虚假新闻相关检测技术做了全面综述。首先，对多模态虚假新闻的相关概念进行了整理和归纳，并分析了单 模态和多模态新闻数据集的变化趋势。其次，介绍了基于机器学习和深度学习的...
Detecting and Grounding Multi-Modal Media Manipulation
weixin_43780665的博客
10-13 717
错误信息已经成为一个紧迫的问题。虚假媒体，无论是视觉形式还是文字形式，都在网络上广泛存在。虽然已经提出了各种深度伪造检测和文本假新闻检测方法，但它们仅针对基于二元分类的单模态伪造而设计，无法对不同模态的细微伪造痕迹进行分析和推理。本文重点研究了多模态伪造媒体的一个新的研究问题，即多模态媒体操纵的检测和定位(DGM4)。DGM4的目的不仅是检测多模态媒体的真实性，而且要对被操纵的内容(即图像边界框和文本标记)进行定位，这需要对多模态媒体操纵进行更深层次的推理。
论文阅读-虚假信息检测综述 - Fake News Detection on Social Media: A Data Mining Perspective
qq_40671063的博客
01-03 4855
论文阅读-虚假信息检测综述 - Fake News Detection on Social Media: A Data Mining Perspective
虚假新闻检测的自然语言处理研究综述【东大-UCSB】.zip
02-12
本文对虚假新闻的检测进行了综述。我们的调查介绍了自动识别假新闻的挑战。我们系统地回顾了为这项任务所开发的数据集和NLP解决方案。我们还讨论了这些数据集和问题公式的限制、我们的见解和建议的解决方案。
CPVR2022论文解析PPT：DeepFusion 多模态融合3D目标检测模型论文解析
05-02
高精度高效的多模态融合检测仍然是挑战。 且数据对齐是模型精度遇到瓶颈的重要原因。 当前多模态融合方法大多使用图像特征与原始点云融合。 当前的融合方法难以进行有效的数据对齐。 现存模型会对数据进行广泛的...
云计算-基于多模态进化计算的集成学习器研究与应用.pdf
07-01
云计算-基于多模态进化计算的集成学习器研究与应用.pdf
Deepfake论文阅读
czmjy的博客
04-28 388
此外，我们提取的是i帧，而不是视频的整个帧，这会降低训练效率。具体为，先抽取人脸关键点，针对现有方法抽取人脸关键点精确率不高的问题，提出校准模块，利用光流预测下一帧的关键点位置后，和下一帧抽取的关键点用Kalman filter做融合，最后把校准后的关键点位置和速度输入到RNN（充分挖掘时间特征）中进行预测。通过将帧级流和时间级流结合，提取压缩深度伪造视频的帧级篡改伪影和时间级的帧间不一致性，从而提高检测压缩视频的性能。同样，在更高的语义水平上，特别是当图像描绘的是人脸时，人眼很难分辨出伪造的图像。
一文看懂虚假新闻检测（附数据集 & 论文推荐）
热门推荐
Paper weekly
02-19 1万+
作者丨孙子荀单位丨腾讯科技高级研究员研究方向丨多模态内容质量本人过去几年一直从事内容质量方面的算法工作，近期出于兴趣对假新闻这个问题做了一些调研，简单总结一下提供读者参考...
文本推理_CVPR 2020 | 细粒度文本视频跨模态检索
weixin_32141253的博客
01-08 826
本文介绍的是CVPR 2020的论文《Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning》(已开源)，文章作者是中国人民大学博士生陈师哲同学，这项工作是陈师哲同学在澳大利亚阿德莱德大学吴琦老师组访问时所完成。作者|陈师哲编辑 | 贾 伟论文链接：http://arxiv.org/abs/2003....
vmd---变分模态分解matlab
07-28
变分模态分解（Variational Mode Decomposition, VMD）是一种信号处理方法，用于将信号分解成多个模态分量。在Matlab中，可以使用鲸鱼优化算法（Whale Optimization Algorithm, WOA）来优化VMD的参数。鲸鱼优化算法可以通过寻找最优的模态个数K和惩罚参数α，来提高从滚动轴承振动信号中提取故障信息的精度。通过VMD处理信号，可以得到若干模态分量，并进一步提取能量熵作为特征向量，用于轴承故障诊断等工作。在使用WOA优化VMD参数的流程中，首先需要初始化鲸群位置向量\[K，α\]，然后以包络熵作为适应度函数计算每个鲸鱼的适应度。接下来，根据收敛因子的大小选择迭代公式进行迭代更新，直到满足终止条件，输出最优的VMD参数。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* *2* *3* [鲸鱼算法优化变分模态分解(VMD)包络熵和参数的特征提取及MATLAB代码实现](https://blog.csdn.net/ILM_O/article/details/120306614)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值