Fully Unsupervised Deepfake Video Detection via Enhanced Contrastive Learning

已于 2024-12-31 10:12:21 修改
阅读量1.2k 收藏 11
点赞数 30
分类专栏： Deepfake Detection 文章标签： 人工智能 pytorch 分类
于 2024-07-31 19:00:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61676839/article/details/140830116
版权

目录

  • 来源：2024 TPAMI（CCF A）
  • 作者：Tong Qiao, Shichuang Xie, Yanli Chen, Florent Retraint, and Xiangyang Luo∗
  • 单位：Hangzhou Dianzi University, Hangzhou, China
  • Paper：https://ieeexplore.ieee.org/document/10411047
  • Code： https://github.com/bestalllen/Unsupervised_DF_Detection/

背景

  • 问题： 大多数的深度视频检测框架下的监督机制需要大量的样本与准确的标签训练。

    • 带有真实标签的训练样本数量不足
    • 训练数据被对手恶意毒害时（存在噪声标签）

  • 解决方法： 设计一个完全无监督的深度伪造检测器。

    • 设计了一个伪标记生成器来标记训练样本，其中传统的hand-crafted的特征用于表示真伪两种类型的样本。
    • 将带有伪标签的训练样本输入到所提出的增强对比学习器中，在对比损失的指导下
了解本专栏 订阅专栏 解锁全文 超级会员免费看
TPAMI-2024-Fully Unsupervised Deepfake Video Detection Via Enhanced Contrastive Learning
qq_37246721的博客
07-06 457
2.真伪视频的深层高级特征相似性大，需要在语义层面提取特征，而不是像分类任务一样在理解层面提取特征。因此在无监督任务的初步聚类中，使用手工伪影特征（VAF）更合适。2.现有无监督任务仍需要部分标注：利用无标注数据进行模型预训练，利用有标签数据微调分类器（类别需要标注）。1.以往工作中，上游对特征提取器的训练是无监督的，而下游对分类器的训练仍然需要真实标签监督。1.现有deepfake方法依赖于准确的标签监督，因此受限于标签数量或标签攻击。在无标签的情况下训练下游的分类器。
TPAMI 2024 | 通过增强对比学习实现完全无监督的深度伪造视频检测
小白学视觉
08-08 317
如今，网络上广泛流传着大量的深伪视频，严重损害了公众的可信度和社会安全。尽管最近涌现出越来越多的可靠检测器来抵抗这种新兴的篡改技术，但仍有一些具有挑战性的问题需要解决，以至于大多数监督机制框架下的深伪视频检测器需要大量具有准确标签的样本进行训练。当具有真实标签的训练样本量不足或训练数据被对手恶意毒化时，监督分类器可能不能可靠地进行检测。为了解决这个棘手的问题，有人提议设计一个完全无监督的深伪检测器。特别是，在整个训练或测试过程中，我们不知道任何关于样本真实标签的信息。
DeepFake 介绍（胡扯）
loves_live的专栏
04-02 6518
人脸相关的篡改并不是一个新的话题，但是结合深度学习篡改人脸的操作是最近兴起的。 人脸操作主要分为四种： 1. 合成整张虚假人脸图像， 2. 换脸操作，即在保留目标人脸背景的基础上使用源人脸A替换目标人脸， 3. 人脸属性修改，例如修改人的发色，胡须的有无等， 4. 人脸表情修改，例如使图片中的人表情由哭变为笑，改变视频中说话人的口型等。 随着计算机硬件的发展，基于计算机视觉的操作技术能够生成更...
论文总结：Deepfake
weixin_46808382的博客
12-03 892
non-detailed summary about Deepfakenormally deepfake is to generate/control humans images. for example, take on clothes during virtual shopping, change actors’ face and so on.deepfake consists of reenactment, replacement, editing and synthesis.reenactment
Intel 全球首個實時 Deepfake 檢測器 透過血流判斷人像真偽、準確率達 96%
m0_55055742的博客
11-21 324
Intel 在周二（15 日）發布全球首個實時深偽（Deepfake）檢測器 FakeCatcher。FakeCatcher 透過深度學層人的血流，只需幾毫秒便能判斷影片的人像真偽，準確率達 96%。 FakeCatcher 是由 Intel 實驗室高級研究科學家 Ilke Demir 及美國賓漢頓大學的 Umur Ciftci 合作製成。由於心臟泵血時，人的靜脈會改變顏色。因此 FakeCatcher 會從面部各處收集靜脈顏色，再利用深度學習，以血流判斷影片人像真偽。 FakeCatcher 採用 In
deepfake安装
景小亮的技术博客
02-20 8824
deepfake网址 deepfake环境安装手册 其中windows下安装dlib会出错 搜索了一下，安装dlib步骤 安装cmake cmake下载地址 配置cmake 安装dlib dlib下载地址 下载whl文件， 命令行执行 pip install XXX.whl文件 ...
Deepfake Detection总结
最新发布
志在山顶的人，不会贪念山腰的风景
12-23 121
Deepfake Detection总结
AAAI 2022 论文列表
热门推荐
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
DeepFake 入门了解
李响
11-30 9039
换脸到底是什么样的操作 Deepfake，是由“deep machine learning”（深度机器学习）和“fake photo”（假照片）组合而成，本质是一种深度学习模型在图像合成、替换领域的技术框架，属于深度图像生成模型的一次成功应用。 其实该技术最早版本在2018年初就被提出了，当时在构建模型的时候使用了Encoder-Decoder自编解码架构，在测试阶段通过将任意扭曲的人脸进行还原，...
DeepFake技术--DeepFakes 概述（一）（二）
haoji007的博客
10-30 2万+
AI 换脸技术——DeepFakes 概述（一） 编者按：本文由图普科技编译自 Exploring DeepFakes。 2017年12月，一个名为“DeepFakes”的用户在Reddit上发布了一个“假视频”，视频中的艺人其实是后期加上的，但是看起来几乎毫无破绽。他利用了深度学习和AI新技术，在成人电影中把演员的脸替换成某个艺人的脸，从而制作成了这个看上去以假乱真的视频。 从视频发布以后...
【Datawhale AI 夏令营】CV图像竞赛——Deepfake攻防
你一定能够成为你想要去成为的人。
07-20 1494
​ 随着人工智能技术的迅猛发展，深度伪造技术（Deepfake）正成为数字世界中的一把双刃剑。Deepfake技术可以通过人工智能算法生成高度逼真的图像、视频和音频内容，这些内容看起来与真实的毫无二致。​ Baseline代码，采用了timm库来进行图像模型的训练和推理。指标计算与显示类类用于计算和存储指标的平均值和当前值。它通常用于跟踪训练过程中每个epoch或batch的损失值、精度等。"""计算和存储指标的平均值和当前值"""# 重置所有值# 更新当前值。
Deep Fake 影响阅读
一只菜鸟夹
09-05 1936
正文： PS类图像编辑软件降低了图像的可信度，而近期大热的的DeepFake则让视频的可信度也开始降低。它借助了tensorflow和GPU等工具，只需足够的数据就可以实现face swap，而通过深度学习，音频伪造甚至是虚构人物肖像也成为可能。 作为一个工具，DeepFake带来了很多法律问题。它让侵权变得更容易成本也更低。深度伪造的成果让人的肖像权、名誉权、著作...
深度伪造（Deepfake）原理，生成和检测
t28383993的博客
07-15 2万+
Deepfake原理，生成和检测
DeepFake数据集相关介绍
qq_43372360的博客
12-05 725
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
Deepfake detection学习与评测
m0_59113065的博客
07-23 1013
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、项目一二、项目二二、使用步骤1.引入库2.读入数据总结 前言 原理介绍：Deepfake detection文章总结第一弹（经典文章） Deepfake 逆向工程的检测与溯源方法 一、项目一 Reverse Engineering of Generative Models: Inferring Model Hyperparameters from Generated Images paper code 二、项目二 Reve
deepfake detection数据集
where_is_horse的博客
10-28 1万+
最全Deepfake数据集总结，包含各个数据集下载链接： https://github.com/deepfakeinthewild/deepfake_in_the_wild Dataset name Download Generate method Deepfake videos Actors Deepfake-TIMIT low download De...
一文速览深度伪造检测（Detection of Deepfakes）：未来技术的守门人
定期分享我的发现和想法，感谢你的陪伴和支持
02-29 9762
在数字化时代的高速公路上，深度伪造技术（Deepfake）如同一辆无人驾驶的跑车，其速度惊人，潜力巨大，同时也带来了潜在的危险。深度伪造检测（Detection of Deepfakes）不仅是一场科技界的军备竞赛，更是未来数字内容安全领域的黄金矿脉。本文将探讨这一技术的核心原理，揭示其如何成为数字时代守门人的角色。重现和替换的对比编辑合成：参考：https://zhuanlan.zhihu.com/p/139489768。
Deepfake正确打开方式：荷兰警方用“换脸”拍摄17年前被枪杀男孩视频，征求线索...
数据派THU
05-28 483
来源：大数据文摘 本文共1300字，建议阅读5分钟 只有一张照片，就能生成视频。Deepfake终于走上正道了。2003年，13岁的Sedar Soares和他的朋友们一起扔雪球时被枪杀，最近，荷兰警方重启了这项调查。在Sedar Soares家人的允许下，他们利用Deepfake制作了一个Sedar Soares的视频，以此向公众征集线索，寻找目击证人。荷兰警方认为这可...
Datawhale AI夏令营多模态比赛_Kaggle01_Deepfake音视频攻防(BaseLine代码解析）笔记1
m0_53217058的博客
07-14 1110
Deepfake是一种使用人工智能技术生成的伪造媒体，特别是视频和音频，它们看起来或听起来非常真实，但实际上是由计算机生成的。这种技术通常涉及到深度学习算法，特别是生成对抗网络（GANs），它们能够学习真实数据的特征，并生成新的、逼真的数据。Deepfake技术虽然在多个领域展现出其创新潜力，但其滥用也带来了一系列严重的危害。在政治领域，Deepfake可能被用来制造假新闻或操纵舆论，影响选举结果和政治稳定。经济上，它可能破坏企业形象，引发市场恐慌，甚至操纵股市。
unsupervised learning of strctured representations via closed-loop
09-16
封闭回路的无监督学习结构化表示 封闭回路的无监督学习结构化表示是一种机器学习方法，旨在通过建立闭环反馈以自动地学习数据之间的结构化表示。在无监督学习中，我们通常没有标签的辅助信息，因此要求模型能够从数据中自动发现隐藏的结构和模式。 封闭回路的无监督学习方法的关键思想是通过对模型输出和输入进行比较来进行训练。在这个闭环中，模型的输出被重新注入到模型的输入中，从而形成了一个持续的迭代过程。模型通过调整自身的参数来最小化输入和输出之间的差异，以此来改善所学到的表示。 使用封闭回路进行无监督学习的一个例子是自编码器。自编码器是一种神经网络模型，它的输入和输出都是相同的。模型的目标是通过学习如何将输入编码为一个低维的表示，并且能够从这个低维表示中重构出输入。在训练过程中，自编码器通过最小化输入和重构输出之间的差异来调整自身的参数。 封闭回路的无监督学习方法有许多优点。首先，由于无需标签，这种方法可以适用于大量未标记的数据。其次，学习到的结构化表示可以用于许多任务，如数据压缩、降噪、特征提取等。此外，通过引入封闭回路，模型可以在训练过程中不断自我纠正，从而改善表示的质量。 总之，封闭回路的无监督学习方法通过建立闭环反馈来自动地学习数据之间的结构化表示。该方法可以应用于无标签数据，并且通过迭代过程来不断改善所学到的表示。这种方法在很多任务中都具有广泛的应用前景。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AkanthaWang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值