Contrastive Learning for DeepFake Classification and Localization via Multi-Label Ranking

已于 2024-06-30 09:22:57 修改
阅读量87 收藏
点赞数
分类专栏： Deepfake Detection 文章标签： 计算机视觉 人工智能 机器学习
于 2024-06-16 12:09:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37246721/article/details/139669785
版权

一、研究背景
1.二分类深度伪造检测已经趋于性能饱和，操纵部位定位及排序成为新的需求，而后者可被看作多标签排序问题。
2.以往二分类方法难以直接泛化到多标签排序问题上。

二、技术路线
在这里插入图片描述

利用多实例学习和多标签排序，同时解决深度伪造检测和伪造位置定位及排序。
设计损失项，令预测多标签的顺序遵从深度伪造图像修改时的真实顺序。

1.特征提取

  • 提取图片 x x x的token
了解本专栏 订阅专栏 解锁全文 超级会员免费看
二苏旧局吖
关注
专栏目录
订阅专栏
CCF A类会议或期刊----多视图，多模态近两年论文
Thincor的博客
03-15 6351
会议/期刊 论文 neurips2020 Removing Bias in Multi-modal Classifiers: Regularization by Maximizing Functional Entropies. neurips2020 Labelling unlabelled videos from scratch with multi-modal self-supervision. neurips2020 A Contour Stochastic Gradient ....
2018-CVPR-Efficient and Deep Person Re-Identification using Multi-Level Similarity
Bo's Blog
07-23 1230
论文地址 Motivation 目前的方法只考虑在某一个特征的卷积层输出来计算相似性，是否可以使用多尺度提高相似度的计算的准确性呢？ 许多工作假定相关视觉特征不会平移太大的距离，没有在整张图上考虑相关性，很容易丢失信息 之前都是在特征图的rigid part来计算product或者difference，没有对于尺度、旋转的不变性 Contribution 提出了全卷积Siam...
Learning Deep Features for Discriminative Localization
poorfriend的博客
11-23 720
Class Activation MappingCAM生成 实验结果 分类 定位 细粒度识别 参考文献 NIN[2]提出的全局平均池化（Global Average Pooling， GAP），代替如AlexNet和VGG中出现的含大量参数的的全连接层（FC6、FC7），能起到防止过拟合、提高泛化能力的作用。而且相对于FC层， GAP对空间平移更鲁棒， 可解释性也更强。除了上述优点， 本文提出另
Learning Deep Features for Discriminative Localization笔记
晓峰博客笔记
03-31 1万+
1. 背景    卷积神经网络里面的每一个卷积单元其实都扮演着一个个object detector的角色，本身就带有能够定位物体的能力。但是这种能力在利用全连接层进行classification的时候就丢失了。因此，像那些全卷积的神经网络，比如googlenet，都在避免使用全连接层，转而使用global average pooling，这样的话不仅可以减少参数，防止过拟合，还可以建立featur...
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
（九：2020.08.27）CVPR 2019 追踪之论文纲要（译）
Jojo论文基地
08-28 8737
CVPR 2019 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这900篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录 论文 概要
AAAI 2022 论文列表
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
计算机视觉 第七章图像搜索
最新发布
qq_53034510的博客
09-10 645
这里，对图像进行索引就是从这些图像中 提取描述子，利用词汇将描述子转换成视觉单词，并保存视觉单词及对应图像的单词 直方图。这里，我们用BoW 来表示整个图像，不过这里介绍的过程是通用的，可以应用 于寻找相似的物体、相似的脸、相似的颜色等，它完全取决于图像及所用的描述子。通常，数据集（或语料 库）中一个单词的重要性与它在文档中出现的次数成正比，而与它在语料库中出现 的次数成反比。imlist包含的是图像的文件名，运行下面的代码，可以得到每幅 图像提取出的描述子，并将每幅图像的描述子保存在一个文件中。
[数据集][目标检测]百事可乐可口可乐瓶子检测数据集VOC+YOLO格式195张2类别
FL1623863129的博客
09-09 614
数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。标注类别名称:["bskl","kkkl"]图片数量(jpg文件个数)：195。标注数量(xml文件个数)：195。标注数量(txt文件个数)：195。使用标注工具：labelImg。标注规则：对类别进行画矩形框。bskl 框数 = 214。
Opencv实现提取卡号（数字识别）
2401_84670644的博客
09-03 1820
接下来，你可能会想要使用这些数字模板与输入图像中的数字进行匹配，以确定输入图像中每个数字的具体值。这通常涉及到模板匹配技术，如使用。库来解析命令行输入，确保用户提供了输入图像和模板图像的路径。函数读取模板图像的路径，并显示原始图像。自定义的myutils库。
[数据集][目标检测]血细胞检测数据集VOC+YOLO格式2757张4类别
FL1623863129的博客
09-08 683
数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)标注类别名称:["Platelets","RBC","WBC","sickle cell"]特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。图片数量(jpg文件个数)：2757。标注数量(xml文件个数)：2757。标注数量(txt文件个数)：2757。使用标注工具：labelImg。标注规则：对类别进行画矩形框。
[数据集][目标检测]打电话检测数据集VOC+YOLO格式8985张1类别
FL1623863129的博客
09-09 669
数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。图片数量(jpg文件个数)：8985。标注数量(xml文件个数)：8985。标注数量(txt文件个数)：8985。标注类别名称:["phone"]phone 框数 = 9046。使用标注工具：labelImg。标注规则：对类别进行画矩形框。
yolo8 目标检测、鉴黄
loveting99的博客
09-03 3783
YOLOv8作为YOLO（You Only Look Once）系列的最新版本，在继承其前代模型优良特性的基础上进行了全面升级。YOLO系列模型自问世以来，以其独特的单阶段检测方法和卓越的实时性能在计算机视觉领域占据了重要位置。YOLOv8的发布标志着目标检测技术的又一里程碑，其在检测速度、精度、灵活性等方面都实现了新的突破，尤其在应用场景的广泛性和复杂性上展现出了更强的适应能力。YOLOv8作为目标检测领域的最新突破，继承了YOLO系列模型的优点，同时在精度和效率上取得了显著的提升。
什么是图像的边缘？说说边缘检测的任务以及基本原理？
GamBleout的博客
09-09 574
图像的边缘是图像中亮度、颜色或纹理等特征发生急剧变化的地方，这些变化通常代表了图像中不同对象的边界。边缘检测是图像处理中的一个重要环节，它对于图像分割、图像识别、图像压缩等领域都有着广泛的应用。在数字图像中，边缘通常是通过计算图像中每个像素点与其邻域像素点的差异来检测的。这些差异可以通过各种边缘检测算子来量化，如Sobel算子、Prewitt算子、Roberts算子、Canny算子等。
【计算机视觉前沿研究 热点 顶会】ECCV 2024中Mamba有关的论文
A_Student10000的博客
09-05 1105
这篇博客搜集了了ECCV 2024中与状态空间模型有关的论文，包括图像恢复、视频理解、参考图像分割等应用，该系列博客将不断更新，覆盖更全面的主题。
《OpenCV计算机视觉》—— 对图片进行旋转的两种方法
weixin_73504499的博客
09-09 1107
一、用numpy库中的方法对图片进行旋转 、 二、用OpenCV库中的方法对图片进行旋转
dense contrastive learning for self-supervised visual pre-training
04-06
“密集对比学习自监督视觉预训练”是一种自监督学习方法，旨在通过对比度训练来提高视觉表征学习的效果。该方法通过训练网络来学习将相似的图片特征映射到一起，将不同的图片特征区分开来，从而使网络获得更好的视觉...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

二苏旧局吖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值