二苏旧局吖-CSDN博客

原创 Improving Generalization of Deepfake Detectors by Imposing Gradient Regularization

以往工作通过改进网络架构或者合成新数据来提升伪造检测的泛化性，但是前者需要承担额外的计算开销，后者随着生成技术的发展会逐渐失效。3.寻找一组对伪造纹理模式的变化相对稳定的网络权重，当浅层特征的一阶二阶统计数据变化时，令模型性能变化尽可能小。3.增强检测器对浅层特征统计数据扰动的鲁棒性，即减轻深度伪造检测器对伪造纹理模式的敏感度，可以提高其泛化能力。2.通过关注已知伪造方法和未知伪造方法之间的纹理模式差异来提升模型的泛化性。1.探索检测器自身的能力，不利用额外的架构修改或训练数据来提升检测器性能。

2024-07-28 19:43:05 12

原创 MMNet: Multi-Collaboration and Multi-Supervision Network for Sequential Deepfake Detection

提出了多协作和多监督网络（MMNet），处理伪造图像中的各种空间尺度和顺序排列，并在不了解相应的操纵信息的情况下实现恢复。2.由于操纵空间和操纵顺序具有不同的组合方式，伪造结果表现出巨大的差异，严重影响了检测性能。1.操纵区域的尺度和位置不同，特征金字塔网络可以检测尺度变化较大的目标。3.伪造图像的恢复需要获知操纵模型的信息，但相关信息通常被攻击者隐藏。2.特征金字塔网络的有效性主要来源于多输出结构，但计算开销大。2.多监督模块：定位被操纵区域，为多协作模块提供额外注意力。构建更适用的特征金字塔网络。

2024-07-21 15:18:47 13

原创 TPAMI-2024-Fully Unsupervised Deepfake Video Detection Via Enhanced Contrastive Learning

2.真伪视频的深层高级特征相似性大，需要在语义层面提取特征，而不是像分类任务一样在理解层面提取特征。因此在无监督任务的初步聚类中，使用手工伪影特征（VAF）更合适。2.现有无监督任务仍需要部分标注：利用无标注数据进行模型预训练，利用有标签数据微调分类器（类别需要标注）。1.以往工作中，上游对特征提取器的训练是无监督的，而下游对分类器的训练仍然需要真实标签监督。1.现有deepfake方法依赖于准确的标签监督，因此受限于标签数量或标签攻击。在无标签的情况下训练下游的分类器。

2024-07-06 16:13:10 129

原创 arxiv-2024-Adversarial Attacks on Both Face Recognition and Face Anti-spoofing Models

3.提出梯度一致性维护模块，使用Hessian近似最小化梯度之间的差异，以缓解FR和FAS模块之间的梯度不一致。1.对抗性攻击仅能损害纯FR模型，而对完整的FR系统无效。2.引入实例风格对齐模块，对齐对抗性样本与活体样本的风格，减轻活体样本与假样本之间的风格差异。1.设计分布感知的评分偏置模块，优化对抗性样本使其远离假样本，以增强FAS模型的迁移性。2.检测到对抗样本的贴图边界，使其在FAS模块便被过滤掉，无法到达FR模块。1.提出同时作用于FR和FAS模型的对抗攻击设置，提高对FR系统的对抗攻击。

2024-06-29 22:26:55 68

原创 CVPR-2024-Forgery-aware Adaptive Transformer for Generalizable Synthetic Image Detection

1.前沿方法开始探索预训练模型的优点，且只训练一个单独的分类器，例如，结合冻结的CLIP-ViT与可学习的线性层。1.为了在图像域和频率域内发现并聚合局部伪造痕迹，引入伪造感知适配器来适应图像特征。2.由于缺乏对伪造任务的适应，上述固定的范式不能充分学习得到伪造相关表征。2.为了提升泛化性，引入语义引导的对齐模块来监督图像和文本的伪造适应。1.由于图像和频率分析对合成图像检测都是必不可少的。2.将图像特征和文本嵌入纳入对比目标可以提升泛化性。

2024-06-28 21:54:09 102

原创 NIPS-2022-OST: Improving Generalization of DFD via One-Shot Test-Time Training

3.一些工作利用混合边界、上采样、高通滤波增强泛化性，但是这种低级伪影对数据集特有的预处理步骤敏感，会影响泛化。另一些工作借用运动、坐标特征提高泛化性，但是这种人工特征较容易遭受未来合成手段的攻击。1.当测试数据与训练数据的特征差异较大时，检测器难以维持良好的性能，这种较弱的泛化能力阻碍了深度伪造检测器的应用。1.用每个测试图像合成伪训练样本，并构建one-shot test-time training来更新模型。在source模型的基础上，利用测试数据和训练数据一起，对模型参数进行更新。

2024-06-28 11:07:57 30

原创 CVPR-2024-Targeted Representation Alignment for OW-Semi-Supervised Learning

2.目前的方法仅依赖于风险较大的基于相似性的聚类算法，且未对无标签样本进行限制。设定具有最大分离度的目标原型，利用目标分类器，逐步将表征对齐至预定义的equiangular tight frame (ETF)原型，以实现嵌入的最优状态。1.开放世界半监督学习的目的是利用来自标记数据的信息对未标记样本进行分类，其中未标记样本可以来自于已知类，也可以来自于未见过的新类。2.OW-SSL中，缺少新类标注会破坏NC的导向作用，无标注样本的校准依赖于伪标签，错误的伪标签会误导校准结果。利用神经崩溃现象得到最佳特征。

2024-06-22 18:09:39 359

原创 Contrastive Learning for DeepFake Classification and Localization via Multi-Label Ranking

1.二分类深度伪造检测已经趋于性能饱和，操纵部位定位及排序成为新的需求，而后者可被看作多标签排序问题。利用多实例学习和多标签排序，同时解决深度伪造检测和伪造位置定位及排序。设计损失项，令预测多标签的顺序遵从深度伪造图像修改时的真实顺序。2.以往二分类方法难以直接泛化到多标签排序问题上。输入为真时，所有实例的响应趋于为1。

2024-06-16 12:09:16 75

原创 arxiv-2024-Test-Time Domain Generalization for Face Anti-Spoofing

2.提出Diverse Style Shifts Simulation (DSSS)和两个相关损失，通过可学习风格基底合成多样的分布偏移。1.对抗性学习、元学习、对比学习等策略在训练过程中学习域不变特征，以增强泛化性。1.提出Test-Time Style Projection（TTSP），通过一组样式基底，将未知域的样本映射到源域分布。3.以往test-time域泛化的风格基底是粗糙且不能自适应的。2.最大限度表示已知风格空间，并将未知域样本映射到已知域。1.利用测试数据增强模型的泛化性。

2024-06-06 09:01:49 83

原创 2024-arxiv-DataIndependentOperator: ATraining-FreeArtifactRepresentationExtractorforGeneralizableDFD

1.Data-Independent Operator：手工过滤器和随机初始化的卷积层可被用作免训练的伪影表征提取器。2.令特征提取器尽可能少地依赖于训练数据，压缩图片内容对分类器的影响，以减少对训练数据的过拟合。1.以往工作依赖于生成多样的训练数据，或者依赖于大规模预训练模型，但是这会带来高昂的计算成本。2.不同来源的数据存在分布偏移，这种偏移来源于内容（形状、结构、视觉属性）和伪影因素。4.保证分类器的数据独立性，对已知数据和未知数据进行无偏处理。1.小型的免训练过滤器足以捕获泛化性伪影表征。

2024-06-05 11:29:37 38

原创 CVPR-2023-Instance-Aware Domain Generalization for Face Anti-Spoofing

2.Categorical Style Assembly（组装）：同时考虑样本多样性与类别概念，生成风格多样的样本，模拟实例级的风格迁移。3.Asymmetric Instance Adaptive Whitening：利用实例白化去除域特有风格，同时不影响域不变鉴别性特征。1.Dynamic Kernel Generator：提取实例自适应的特征辅助域泛化。2.由于光照、背景等因素干扰，域级别的对齐会产生许多细粒度子域。1.特征关系存储着图片中的域特有风格，白化转换可以移除特征关系。

2024-06-04 16:13:06 36

原创 2023-CVPR-Learning on Gradients: GeneralizedArtifactsRepresentationforGAN-GeneratedImagesDetection

2.预训练梯度模型可以过滤掉图像内容，只保留与预训练模型的目标任务相关的鉴别性像素，使得到的梯度更依赖于预训练模型，而不是训练数据，从而可以提高检测器在未知域的性能。提出梯度学习（LGrad）框架，将依赖于数据的问题转化为依赖于转换模型的问题；3.预处理、数据增强和减少频率级伪影可用来构建鲁棒的检测器，但是，仍然需要对生成模型构建更具泛化性的表征（梯度）。2.依赖于局部伪影、混合边界、全局纹理和频率级伪影的方法容易过拟合于训练集。2.将数据驱动问题转换为模型驱动问题，通过引入转换模型，增强检测器的鲁棒性。

2024-06-03 21:19:01 41

原创 2024-SP-AVA: Inconspicuous Attribute Variation-based Adversarial Attack bypassing DeepFake Detection

3.Adversarial Attribute Generation Module：对语义鉴别器进行对抗性训练，学习正常样本的各种属性的语义分布，以此将语义扰动值设置到合适的边界上。4.高度不规则的属性空间分布使得约束语义扰动十分困难，较小的阈值使扰动容易被检测出来，较大的扰动容易产生异常面容。1.属性攻击对像素分布的影响有限，因此可以绕过现有基于像素的检测器，比像素攻击更有影响力。将伪造图像转换到GAN潜在空间中，搜索最优的语义属性进行扰动。1.将潜在特征空间中的低密度部分优化为高密度部分。

2024-06-02 19:45:41 23

原创 2024-AAAI-FrequencyAwareDeepfakeDetection: ImprovingGeneralizabilitythroughFrequencySpaceLearning

引入了一种新的频率感知方法FreqNet，同时挖掘图片中的频域信息和CNN模型提取到的特征，将频域学习集成到轻量CNN分类器中，围绕频域学习来强化深度伪造分类器的泛化性。2.频域卷积层：在频域中捕获更广泛的伪造指示，不仅用频域信息作为伪影表征，还利用频域学习在相位谱和振幅谱上学习域无关特征，以增强分类器泛化性能。2.生成模型的特有伪影使深度伪造检测器难以充分在频域中进行学习，并使其过拟合于训练数据中的伪影，难以在不可见域上具有良好的泛化性能。3.尽管频域属性可用来做真假鉴别，但其在不同域上的泛化性较差。

2024-05-31 17:46:31 62

原创 Detecting Deepfakes with Self-Blended Images

SBIs利用混合单个原始图像生成伪原始图像和伪目标图像，以此生成常见的伪造伪影（例如，混合边界、原始图像和目标图像之间的统计学不一致性）。为什么要制造统计学不一致：因为要尽可能模拟真实情况，哪怕一致情况下的伪造结果属于难样本，但是并不能满足目标要求，即模拟四种预先定义的伪影。对源图像、目标图像分别进行增强，生成统计学不一致（色彩：rgb通道、色相、饱和度、值、亮度和对比度；频域：下采样、锐化）7. 通过单张图片混合不存在相似坐标点搜索的步骤（寻得更匹配的原图、目标图，有利于提高生成质量）。

2024-05-20 18:29:44 114

原创 LAA-Net: Localized Artifact Attention Network for High-Quality Deepfakes Detection

1.现有深度伪造检测方法使用真伪数据通过DNN进行训练，仅利用全局特征使其在面对未知伪造手段时泛化性能较差。3.现有处理泛化性的手段主要为多任务学习和伪合成，但面对高质量深度伪造样本时二者的效果并不鲁棒。3.伪造痕迹不仅会表现在单个像素点，也会影响其周边地相邻像素，因此可同时编码敏感点和其相邻点。1.现有特征提取架构倾向于提取全局特征，因此需要提出能捕获局部细微特征的机制。利用多尺度特征的同时不引入冗余，将鉴别性低级特征扩展为最终输出特征。4.特征金字塔网络可以用多尺度的低级特征补充全局特征。

2024-05-11 12:07:34 135

原创 Rethinking the Up-Sampling Operations in Generative Network for Generalizable Deepfake Detection

重新思考基于CNN的深度伪造生成器，并构建了伪影的通用表征近邻像素关系Neighboring Pixel Relationships (NPR)，提升深度伪造检测的泛化性。3.为了提升检测算法的泛化性，以往工作通常优化检测算法、扩充数据集、预训练模型，但是缺乏域不变表征使这些方法依旧难以应用于未知域。4.当前一些工作主要研究上采样对整个图像在频域的影响，并用频谱表征上采样伪影，但是GAN不同的频域模式限制了频域伪影的泛化性能。通过重新探究生成模型的上采样模块的像素级影响，实现域无关的伪造检测。

2024-05-10 16:31:55 226

原创 2024-CVPR-Exploiting Style Latent Flows for Generalizing Deepfake Video Detection

2.现有关注时间、视觉线索的方法侧重于像素等低级特征，忽略了面部属性等高级内容的时序变化，难以应对伪影痕迹不明显的新增伪造视频。3.使用风格特征的GAN反演模型的性能优于直接修改潜在风格特征的模型，但图像域的风格特征不能直接用于视频域的深度伪造检测任务。3.引入了一个风格注意力模块，结合styleGRU生成的特征和内容特征，从而同时检测视觉和时间伪影。1.由于面部表情和几何变换，伪造视频的潜在风格向量在时间维度上存在时序不一致性。1.验证了潜在风格向量的时序变化对提升泛化性的作用。

2024-05-03 11:22:51 219

原创 2024-CVPR-Preserving Fairness Generalization in Deepfake Detection

3.在训练阶段，过拟合的模型会同时记住人种模式，直接最小化公平性损失会陷入不理想的局部或全局最小值，无法保持公平性的跨域泛化。3.许多工作致力于通过增加注释来解决Deepfake数据集中存在的数据偏差，但相关的公平性泛化问题一直没有得到有效解决。1.通过对比，发现公平性方法DAW-FDD和公平性损失DAW-FDD(UFC)在跨数据集测试时均会失效。使用解纠缠学习来提取人口统计学和与领域无关的伪造特征，并通过融合它们来促进公平学习。在泛化原则的指导下，利用解纠缠得到的特征促进公平性学习。

2024-04-20 14:59:36 796

原创 2024 CVPR AIGC集合

基于可变形点云对表情、颜色、位置等信息进行建模。对原始颜色进行解纠缠，得到固有反射和相关阴影。总结：可以看作是对局部像素的分解与扩展。通过神经渲染技术获得底层的几何表示。基于几何、物理、光照进行建模。总结：对全局结构的关注和扩展。二、talking-head。

2024-04-17 20:05:40 480

原创 A Decade’s Battle on Dataset Bias: Are We There Yet

1.更大的模型并没有带来更多的收益，更多的数据会提升模型性能，所以模型并没有试图记忆数据（模型规模扩大会使记忆能力增强，更多的数据会使记忆难度提升）；3.推测：通过数据集分类习得的表征携带者可转移到图像分类任务中的语义信息，因此数据集分类可以促进网络的性能提升。2.如今的数据集规模更大、更丰富、偏差更小，促使神经网络发现概念、抽象、模式、偏差的能力也随之增强。2.用损坏的图像仍能进行准确的数据集分类，因此数据集分类的能力并不源自人眼不可见的低级特征。1.由于数据集的重要性，数据偏差也引起了人们的注意。

2024-03-17 21:25:15 335

原创 2024-AAAI-Exposing the Deception: Uncovering More Forgery Clues for Deepfake Detection

2.现有伪造检测技术依赖于缺乏理论约束的深度神经网络提取伪造特征，难以保证提取到全面的伪造线索和消除无关特征。通过提取多个不重叠的局部特征，并其融合成一个语义信息丰富的全局特征，实现最终特征的充分和纯净。2.基于对互信息的理论分析设计局部信息损失，以保证局部特征之间的正交性和充分性。2.现有方法没有理论支持，使其难以获取足够的标签相关信息和消除任务无关信息。4.基于信息瓶颈理论设计全局信息损失，以融合局部表示并消除任务无关的信息。实现全面的伪造线索提取和无关特征的去除。特征，同时进行全局特征的净化。

2024-03-09 20:23:48 1132

原创 2023-CVPR-Patch-Mix Transformer for Unsupervised Domain Adaptation: A Game Perspective

思路：构建中间域数据，令特征提取器与分类器在中间域数据混合效果不佳时仍能提取到域不变特征。通过构建中间域来平滑地连接源域和目标域。

2024-02-23 14:14:44 869

原创 2023-CVPR-OSAN: A One-Stage Alignment Network to Unify Multimodal Alignment and UDA

无监督多模态域自适应有两个主要问题：域适应和模态对齐。现有工作通常用独立的两个阶段处理上述问题，因此难以利用域和模态之间的互补信息。直接使用原始源域、目标域特征进行对抗性学习效果不佳：不同域之间的差距极大，难以学到共有特征。2.寻找一个共同的域不变、跨模态表示空间来同时对齐域和模态。直接进行特征混合会造成信息冗余和震荡。1.探索域与模态之间的关系；

2024-02-21 13:18:59 821 2

原创 2023-CVPR-Semi-Supervised Domain Adaptation with Source Label Adaptation

提出源自适应范式，将源域数据视为目标数据的噪声版本，令源域数据去适应目标数据。提出了一个SSDA模型，从目标角度设计的标签净化组件，动态地清理标签噪声。半监督域自适应方法：利用特征空间映射、伪标签分配，将目标域向源域对齐。半监督域自适应定义：少量有标签目标域数据，大量无标签目标域数据。以源域为参照的方法会将目标域数据对齐到错误的源域类别。纠正有噪声的源域标签。

2024-02-20 16:51:30 240

原创 2023-CVPR-COT: Unsupervised Domain Adaptation with Clustering and Optimal Transport

提出基于聚类的最优传输（COT）算法，该算法将对齐过程定义为一个最优传输问题，并构造出源域和目标域聚类中心之间的映射，以此消除类别不平衡问题并降低了计算成本。1.通常，域自适应工作从全局角度出发，实现源域和目标域的分布对齐；最近，一些工作开始关注局部对齐，并通过最有传输理论进行实例对的对齐。1.最优传输理论需要保证每个源域样本都被映射到目标域，因此难以应对类别不平衡的情形。2.现有的基于最优传输理论的工作难以处理类别不平衡的问题，并带来极大计算开销。2.在源域和目标域分别建立不同的簇，以表征子域信息。

2024-02-20 14:54:37 281

原创 2023-CVPR-Adjustment and Alignment for Unbiased Open Set Domain Adaptation

Adjustment and Alignment (ANNA)

2024-02-17 17:32:02 206

原创 2024-arxiv-Detection and Localization for Deepfake Videos with Randomly-Located Tampered Traces

1.恢复阶段：仅利用真实数据，随机屏蔽区域，若能习得各面部区域的内在联系，真实面部图将得到较好的恢复效果，伪造面部图将得到较差的恢复效果。1.不同面部单元之间存在一致性，因此重建伪造图片的难度大于重建真实图片的难度，而随机屏蔽会阻碍全局一致性的学习。3.伪造痕迹会出现在随机区域，因此屏蔽区域的伪造痕迹难以预测。2.不同伪造方法用不同形式随机修改不同面部区域，因此难以通过前一帧或其他伪造图片来进行结果预测。1.明确指出伪造区域可以让用户更加信任检测结果，而以往工作忽略了可以用重建结果定位伪造区域。

2024-01-27 16:37:35 593

原创 2022-ECCV-Adaptive Face Forgery Detection in Cross Domain

1.伪造视频是逐帧生成的，因此会造成时间维度上的伪影。而鲁棒的检测模型需要对同一身份的不同帧有一致的检测结果。2.Instance-Discrimination Module：根据输入实例动态调整超平面的位置。1.利用频率线索进行deepfake检测效果良好，但也会导致帧间不一致问题，即不同帧检测结果不同。1.提高预测结果的稳定性和一致性，以进一步提高检测算法的性能。2.以往方法中固定的分类超平面不能准确地分割所有帧的类别。2.根据单个实例自适应地调整鉴别中心并进行预测。

2024-01-20 16:08:39 967

原创 Intra-Inter Camera Similarity for Unsupervised Person Re-Identification

２.利用鲁棒的分类值生成跨相机伪标签，减轻特征受相机和姿态的影响。风格转换：使用生成对抗网络转换源域图片风格，并维持源域图片身份。2.前两种方法作用于源域，第三种方法作用于目标域。3.相对于原始特征，分类概率对域差异更为鲁棒。伪标签生成：通过聚类为目标域数据打伪标签。1.相机内身份匹配比跨相机身份匹配要简单。2.具有泛化性的分类器可以降低域差异。域自适应：对齐源域、目标域特征分布。１.提升分类器的泛化性。

2024-01-16 10:37:20 385

原创 Unveiling the Power of CLIP in Unsupervised Visible-Infrared Person Re-Identification

1.Cluster-Aware Prompt Learning（优化可学习文本提示）：为行人图片建立可学习的聚类感知提示，并得到文本描述作为后续无监督训练的监督信息。2.对于跨模态行人重识别任务，利用生成对抗网络进行模态风格转换需要大量跨模态标签，利用无监督度量学习方法进行模态无关特征学习不需要标签。通过利用了CLIP的视觉-文本表示能力，为无监督跨模态行人重识别构建新的提示学习模式。2.利用CLIP进行提示学习可以获得比伪标签更好的语义监督。1.利用CLIP为无监督聚类学习提供文本描述作为补充知识。

2024-01-13 11:31:44 682

原创 2022-ECCV-Explaining Deepfake Detection by Analysing Image Matching

1.检测模型将既不与原图相关也不与目标图相关的视觉概念看作是与伪造相关的视觉概念，性能良好的检测模型应该基于源/目标-无关的视觉概念来判断真伪。2.在标签的监督下，伪造-原图-目标图匹配可以帮助丢弃伪造无关视觉特征，隐式学习伪造相关的视觉概念。直接将源/目标无关特征从源/目标视觉概念中分离出来去进行真伪检测可以提升在压缩视频上的性能。1.验证假设，并从图像匹配的角度评估视觉概念的关系，以此解释检测模型的预测结果。3.视觉概念：具有语义的人脸区域，如嘴、鼻子、眼睛。第二种：真实图片与伪造图片不相关。

2024-01-11 18:20:59 1093 1

原创 DomainForensics: Exposing Face Forgery across Domains via Bi-directional Adaptation

从无监督领域自适应的角度提出双向自适应策略，结合正向域自适应和反向域自适应，使检测器提取新型伪造特征的同时避免遗忘已有伪造知识。2.伪造痕迹相对细微，且单向域自适应方法会在知识迁移的过程中丢失目标域的部分信息，因此现有无监督域自适应模型难以直接应用。反向网络：无类别约束（真伪判断）的情况下进行域自适应，相对提取的域无关特征更充分，但分类能力会下降。2.通过对齐域差异将习得的伪造相关知识从源域迁移到目标域，并获得新增深度伪造手段的相关知识。4.数据增强、频域特征提取、零样本学习、少样本学习都有各自的缺点。

2024-01-04 17:44:15 419

原创 2022-ECCV-Hierarchical Contrastive Inconsistency Learning for Deepfake Video Detection

1.真实视频和伪造视频的面部动作规律不同，二者的时序信息不一致性可以作为识别深度伪造的有效线索。时间不一致性揭示了真实视频和伪造视频之间不一致的面部动作，因此应该通过比较来挖掘。2.现有的方法倾向于施加二分类监督，限制了模型只能关注类别层面的差异。4.现有伪造手段比较成熟，在单张图片上难以找到伪造痕迹。2.为时间不一致性对比学习提取更精细的局部和全局表示。提出层次对比不一致学习框架与两级对比范式（HCIL）。3.存在只有某一部分被篡改的视频。1.进行局部和全局对比。

2023-12-22 22:37:16 473

原创 Self-supervised Learning of Adversarial Example: Towards Good Generalizations for Deepfake Detection

1.利用伪造配置池合成伪造数据来增加伪造的“多样性”。（配置：合成某种伪造数据的特定方法或控制特定合成过程的一组参数）为探索更大的伪造空间，使用对抗训练策略动态合成当前最具挑战性的伪造数据。将Deepfake检测器用于不可见的伪造手段仍比较困难。2.通过预测伪造配置增强模型对伪造的“敏感性”。泛化性好的表征应该对多种类型的伪造都很敏感。合成网络生成特定的伪造配置，即指定伪造区域。合成伪造数据：能合成的伪造类型比较有限。，并基于上述配制合成伪造图像。为经过变形操作产生的掩膜。预测输入图像的伪造配置。

2023-12-15 14:15:08 968

原创 End-to-End Reconstruction-Classification Learning for Face Forgery Detection

现有模型主要通过提取特定的伪造模式进行深度伪造检测，导致学习到的表征与训练集中已知的伪造类型高度相关，因此模型难以泛化到未知的伪造类型上使用。1.真实样本的特征分布相对更为紧凑，因此学习真实人脸之间的共同特性比学习训练集呈现出的过拟合伪造特性更为合适。提出基于重构-分类学习的伪造检测框架，着重学习真实人脸的紧凑表征，一从真实人脸中区分出未知模式的伪造人脸。只对真实样本进行重建学习以习得真实图像的紧凑表示，通过真实人脸与伪造人脸在分布上的重构差异进行伪造检测。构建度量学习损失，增加重建区分度。

2023-12-08 13:35:19 1053

原创 2022-CVPR-Exploring Frequency Adversarial Attacks for Face Forgery Detection

2.在频域内进行对抗性攻击可以保证原始数据的视觉质量并减轻带给空间域的冗余噪声，同时提高检测器的迁移性。2.图片的低频区域与内容相关，高频段与边缘纹理相关，频率差异通常被作为Deepfake检测的线索。3.混合对抗攻击：基于元学习思想，在空间域和频率域交替进行扰动优化，提高攻击的泛化性能。3.相对于目标攻击，非目标攻击更能适应多样化的分类边界，泛化性也更强。1.真假样本在频段上呈现出差异性，假样本的高频段相对占比更大。3.对抗性样本的目的是欺骗检测器，伪造样本的目的是欺骗人类。

2023-12-01 12:31:02 394

原创 Transcending Forgery Specificity with Latent Space Augmentation for Generalizable Deepfake Detection

提出LSDA（Latent Space Data Augmentation）检测器，利用数据增强提高伪造空间的多样性，利用预训练人脸识别模型学习更综合的真实人脸特征。2.如果检测器过拟合于训练数据特有的伪影信息而不是提取伪造方法的共有特征，当训练数据与测试数据的分布差异过大时，检测器性能会骤降。2.通过样本插值来扩大伪造空间，以此鼓励模型习得更具泛化性的表征和更鲁棒的决策边界，缓解模型对特定伪造方法的过拟合。表征种类繁多的伪造类型需要更具泛化性的决策边界，从而减轻对特定方法的过拟合。

2023-11-23 21:07:26 947

原创 UMMAFormer: A Universal Multimodal-adaptive Transformer Framework for Temporal Forgery Localization

2.Parallel Cross-Attention Feature Pyramid Network（PCA-FPN）：增强网络对短片段的识别、定位能力。现有deepfake检测模型大多只对单模态数据和人脸相关数据做检测。需要开发能够准确定位操纵边界的技术，促进AIGC任务的可靠应用。定位被操纵片段的开始和结束时间戳，帮助用户更好地理解检测结果。基于Transformer的模型可以适应不同模态的特征输入。UMMAFormer：在时间维度上对多种模态的输入进行定位。提出针对图像修复场景的操纵定位数据集。

2023-11-15 20:49:32 222 2

原创 Masked Relation Learning for DeepFake Detection

基于视频的检测技术更加关注相邻帧之间的时间不连贯性和时空不一致性，可降低对空间伪影的依赖并提升泛化性能。2.将关系特征作为一种泛化模式可以提升检测性能，但大量的冗余关系信息会阻碍信息的表达。3.遮挡建模在减轻信息冗余的同时促进高级语义信息（诱导性偏差较小）的挖掘，有助于提升网络的泛化性能。屏蔽部分区域间的相关性以减少信息冗余，以此促进对本质特征的学习并捕获全局视角下的不规则关系。从区域级关系中学习通用的鉴别性特征，减轻对视觉伪影的依赖。2.现有关系挖掘类的工作往往忽略了关系信息的传播。

2023-11-15 11:26:14 351

空空如也

空空如也