【LipForensics】Lips Don’t Lie: A Generalisable and Robust Approach to Face Forgery Detection

最新推荐文章于 2024-08-07 21:56:36 发布
最新推荐文章于 2024-08-07 21:56:36 发布
阅读量17 收藏
点赞数
分类专栏： 论文阅读笔记 Deepfake 文章标签： 人工智能 深度学习 计算机视觉 生成对抗网络 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_39223177/article/details/140701571
版权

文章目录

Lips Don’t Lie: A Generalisable and Robust Approach to Face Forgery Detection

会议：CVPR2021
作者：
在这里插入图片描述

code未给train.py

关键

POINTS: 人脸检测器易受到看不见的操纵方法的样本影响。

【泛化性有所改进，但依赖于容易被常见的后处理操作(如压缩)破坏的线索】

本文提出了LipForensics，这是一种能够推广到新操作并承受各种扭曲的检测方法。

LipForensics的目标是嘴唇运动中的高级语义不规则性。
它包括首先预训练一个时空网络来进行视觉语音识别(唇读)，从而学习与自然口腔运动相关的丰富的内部表征。
随后，时间网络在真实和伪造数据的固定嘴巴嵌入上进行微调，以便检测基于嘴巴运动的假视频，而不会过度拟合到低水平，特定于操作的伪影。

特定目标面部操纵方法：个人身份、表情、嘴唇运动

问：在操作方法之间是否存在语义上的高层不一致，从而对常规扰动更加健壮?

<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
jessIoss
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
Deepfakes论文总结
一位不是很硕的鉴伪方向硕士
10-18 2307
目前的deepfake检测，从检测层级上讲有两类： 一类工作认为，深度伪造检测，应该检测伪造过程中底层的artifact，比如本文中的[5,6,7,8]。这类文章通常非常善于设计网络架构、设计数据增强方式，设计loss等等，泛化性较差。 另一类工作认为，深度伪造检测，应该关注伪造过程中难以复制的高层语义信息。比如本文中的[1,2,3,4,10]。这类文章通常不太在意底层网络架构（即使他们会使用各种各样的特征抽取器），而更关注网络抽取出的时序语义（目前还无工作基于图片语义），泛化性较好。
【论文笔记】深度学习 Lips Don’t Lie: A Generalisable and Robust Approach to Face Forgery Detection
m0_61628700的博客
11-14 1118
语义信息：人脸提取出特征点后人脸就有了语义信息。高层语义特征：识别人脸的喜怒哀乐。现有问题：检测方法依赖于常见的后处理操作（如压缩）。想法来源：通过观察得，为了让伪造人脸的身份，语言和表情相匹配，大多数人脸视频伪造者会以某种方式操作嘴巴。例如：假嘴巴在发音某些音时无法充分闭合。口腔形状或口腔内部（例如牙齿）在帧与帧之间的变化。:在高度压缩泛化性好，能检测新的伪造方法。主要检测说话时的不协调。方法：通过时空结合网络学习唇读（视觉语言识别），从而学习与自然口腔运动相关的内容表示。
科研学习|论文解读——CVPR 2021 人脸造假检测（论文合集）
也许有一天我们再相逢 睁开眼睛看清楚 我才是英雄！
04-28 1787
deepfake的人脸伪造技术在互联网上广泛传播，并引起了严重的社会关注。近年来，如何检测此类伪造内容已成为一个研究热点，并提出了许多深度伪造检测方法。其中，大多数将深度伪造检测建模为普通的二元分类问题，即首先使用骨干网络提取全局特征，然后将其输入二元分类器(real/fake)。但由于这个任务中，真实图像和虚假图像之间的差异通常是微妙和局部的，我们认为这种香草解决方案不是最优的。在本文中，我们将深度伪造检测描述为一个细粒度的分类问题，并提出了一种新的多注意力深度伪造检测网络。
CVPR 2021 论文大盘点-人脸造假检测篇
OpenCV中文网
10-20 9215
随着图像合成技术的成熟，利用一张人脸照片合成假视频/不良视频现象越来越多，严重侵犯个人隐私、妨碍司法公正，所以人脸造假检测越来越重要，学术界的论文也越来越多。本文总结CVPR 2021 中...
【Sklearn学习】Sklearn的数据集介绍
最新发布
一条咸鱼
08-07 366
sklearn数据集的介绍，方便后面学习使用的对应的数据集。
jupyter下载
Einstein·Jun
08-06 359
Anaconda下载 参考链接：https://blog.csdn.net/qq_48372575/article/details/125630622 设置Jupyter Notebook的代码路径 在“此电脑”中搜索。删除最后一个""后面的的内容，包括“\”。 用记事本打开它。 按下ctrl+F就可以开始查找。查找内容如下： 找到之后，右键该文件，找到“发送到”，找到“桌面快捷方式”。然后就会发现桌面上已经建立好了！
电脑技巧：9个免费的AI图片无损放大工具和网站
08-05 700
今天小编给大家介绍9款免费的AI图片放大工具和网站，帮助你提高图片清晰度，感兴趣的朋友可以自己试一试！美图设计室是美图秀秀公司推出的一款在线图片编辑和设计工具箱，提供包括AI 抠图、AI海报、AI PPT、AI消除、AI文生图、AI变清晰、AI无损放大等AI图片编辑工具。其提供的图片无损放大功能，目前是限时免费中，可以帮助用户将JPG、JPEG、PNG、HEIC等格式的图片放大清晰不失真，细节更丰富。✅ 产品优点由美图推出，产品功能稳定，处理速度较快支持免费进行图片放大到8倍。
【Python】Numpy概述安装及使用
Q20011102的博客
08-03 555
Numpy是科学计算基础库，提供大量科学计算相关功能，比如数据统计，随机数生成等。其提供最核心类型为多维数组类型（ndarray），支持大量的维度数组与矩阵运算，Numpy支持向量处理ndarray对象，提高程序运算速度。数组计算、数组存取函数、加权平均函数可让其在python中使用向量和数学矩阵在数据科学、人工智能（包括深度学习、语言处理分支）发挥重要作用。
RPA+AI有什么应用？6大技术融合方向分析 | 实在RPA研究
SHIZAIZHINENG的博客
08-06 821
随着数字化转型的加速，企业正寻求更高效、智能的方法来优化业务流程。机器人流程自动化（RPA）作为一种快速兴起的技术，已经证明了其在自动化重复性任务方面的能力。然而，当RPA与各种人工智能（AI）技术相结合时，其潜力将得到更全面的释放。本文将探讨不同的AI技术如何与RPA结合，以及这种结合为企业带来的变革性应用方向。机器学习 (ML)使系统能够从数据中学习和改进提高预测准确性，自动化决策制定风险管理、欺诈检测、个性化推荐银行使用ML增强RPA进行信用评分和欺诈识别计算机视觉 (CV)
nano gpt 中MLP的矩阵长度为什么是C*4的；MLP多层感知机:s x h；llama3 和chatGpt4的 MLP 隐藏层数量；
ZJQ的博客
08-07 60
在nano GPT中，MLP（多层感知机）的矩阵长度之所以是输入嵌入维度（C）的4倍，这主要源于MLP的设计目的和其在Transformer模型中的作用。因此，nano GPT中MLP的矩阵长度之所以是输入嵌入维度C的4倍，是为了增加模型的容量和学习能力，使模型能够处理更复杂的任务。这种设计是Transformer模型中常见的做法，并在许多自然语言处理任务中取得了优异的性能。需要注意的是，虽然这里以4倍为例进行说明，但实际上MLP的扩展倍数可以根据具体任务和模型设计进行调整。
打造智能障碍物检测系统：从零开始的深度学习项目
a871923942的博客
08-05 1004
随着自动驾驶技术的发展，障碍物检测成为保障行车安全的重要一环。通过深度学习模型，尤其是YOLO（You Only Look Once）模型，可以高效、准确地检测道路上的障碍物，从而提高自动驾驶系统的安全性和可靠性。
线性代数课程概要介绍
08-07 665
线性代数课程内容丰富，主要围绕向量、矩阵和线性变换等核心概念展开，旨在培养学生的空间直观和想象能力、抽象思维和逻辑推理能力。线性代数是理工科大学生必修的数学基础课之一，也是硕士研究生入学全国统一考试中必考的数学课程之一。它不仅是离散化和数值计算的理论基础，还广泛应用于自然科学、社会科学、工程技术、军事和工农业生产等领域。
【深度学习】P1 深度学习数据结构
weixin_43098506的博客
08-07 526
深度学习的数据结构——张量的概念与其基本操作
动手学强化学习 第 19 章 目标导向的强化学习 训练代码
人工智能
08-02 132
这节改动不大，官方代码基本可以直接运行，应该只有一个warning。
【编译原理文法概述】
武帝为此的博客
08-05 657
文法（Grammar）是描述语言语法结构的一种形式化系统，用于定义合法字符串的集合。在编译原理中，文法是用于定义编程语言语法的一套规则。通过这些规则，我们可以确定某个字符串是否属于该语言，及其结构如何。这些规则定义了如何从起始符号生成语言中的字符串，进而描述了语言的语法。
NRK3301识别语音芯片在智能按摩椅中的应用与体验提升
jiuxindianzi的博客
08-02 268
NRK3301语音识别芯片应用于按摩椅，实现高识别准确率、快速响应、远场识别、降噪及离线操作，提供便捷高效且保护隐私的交互体验，期待在更多健康设备中应用。
sheng的学习笔记-AI-k近邻学习（kNN)
coldstarry的专栏
08-07 225
k近邻（k-Nearest Neighbor，简称kNN）学习是一种常用的监督学习方法，是一种基本的分类与回归方法。分类问题：对新的样本，根据其 k 个最近邻的训练样本的类别，通过多数表决等方式进行预测。回归问题：对新的样本，根据其 k 个最近邻的训练样本标签值的均值作为预测值。
昇思基础课程打卡（SPONGE课前学习）9.使用静态图加速
cftang9999的专栏
08-06 495
AI编译框架分为两种运行模式，分别是动态图模式以及静态图模式。MindSpore默认情况下是以动态图模式运行，但也支持手工切换为静态图模式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值