qq_37246721的博客

提出了多协作和多监督网络（MMNet），处理伪造图像中的各种空间尺度和顺序排列，并在不了解相应的操纵信息的情况下实现恢复。2.由于操纵空间和操纵顺序具有不同的组合方式，伪造结果表现出巨大的差异，严重影响了检测性能。1.操纵区域的尺度和位置不同，特征金字塔网络可以检测尺度变化较大的目标。3.伪造图像的恢复需要获知操纵模型的信息，但相关信息通常被攻击者隐藏。2.特征金字塔网络的有效性主要来源于多输出结构，但计算开销大。2.多监督模块：定位被操纵区域，为多协作模块提供额外注意力。构建更适用的特征金字塔网络。

以往工作通过改进网络架构或者合成新数据来提升伪造检测的泛化性，但是前者需要承担额外的计算开销，后者随着生成技术的发展会逐渐失效。3.寻找一组对伪造纹理模式的变化相对稳定的网络权重，当浅层特征的一阶二阶统计数据变化时，令模型性能变化尽可能小。3.增强检测器对浅层特征统计数据扰动的鲁棒性，即减轻深度伪造检测器对伪造纹理模式的敏感度，可以提高其泛化能力。2.通过关注已知伪造方法和未知伪造方法之间的纹理模式差异来提升模型的泛化性。1.探索检测器自身的能力，不利用额外的架构修改或训练数据来提升检测器性能。

2.真伪视频的深层高级特征相似性大，需要在语义层面提取特征，而不是像分类任务一样在理解层面提取特征。因此在无监督任务的初步聚类中，使用手工伪影特征（VAF）更合适。2.现有无监督任务仍需要部分标注：利用无标注数据进行模型预训练，利用有标签数据微调分类器（类别需要标注）。1.以往工作中，上游对特征提取器的训练是无监督的，而下游对分类器的训练仍然需要真实标签监督。1.现有deepfake方法依赖于准确的标签监督，因此受限于标签数量或标签攻击。在无标签的情况下训练下游的分类器。

3.提出梯度一致性维护模块，使用Hessian近似最小化梯度之间的差异，以缓解FR和FAS模块之间的梯度不一致。1.对抗性攻击仅能损害纯FR模型，而对完整的FR系统无效。2.引入实例风格对齐模块，对齐对抗性样本与活体样本的风格，减轻活体样本与假样本之间的风格差异。1.设计分布感知的评分偏置模块，优化对抗性样本使其远离假样本，以增强FAS模型的迁移性。2.检测到对抗样本的贴图边界，使其在FAS模块便被过滤掉，无法到达FR模块。1.提出同时作用于FR和FAS模型的对抗攻击设置，提高对FR系统的对抗攻击。

1.前沿方法开始探索预训练模型的优点，且只训练一个单独的分类器，例如，结合冻结的CLIP-ViT与可学习的线性层。1.为了在图像域和频率域内发现并聚合局部伪造痕迹，引入伪造感知适配器来适应图像特征。2.由于缺乏对伪造任务的适应，上述固定的范式不能充分学习得到伪造相关表征。2.为了提升泛化性，引入语义引导的对齐模块来监督图像和文本的伪造适应。1.由于图像和频率分析对合成图像检测都是必不可少的。2.将图像特征和文本嵌入纳入对比目标可以提升泛化性。

3.一些工作利用混合边界、上采样、高通滤波增强泛化性，但是这种低级伪影对数据集特有的预处理步骤敏感，会影响泛化。另一些工作借用运动、坐标特征提高泛化性，但是这种人工特征较容易遭受未来合成手段的攻击。1.当测试数据与训练数据的特征差异较大时，检测器难以维持良好的性能，这种较弱的泛化能力阻碍了深度伪造检测器的应用。1.用每个测试图像合成伪训练样本，并构建one-shot test-time training来更新模型。在source模型的基础上，利用测试数据和训练数据一起，对模型参数进行更新。

1.二分类深度伪造检测已经趋于性能饱和，操纵部位定位及排序成为新的需求，而后者可被看作多标签排序问题。利用多实例学习和多标签排序，同时解决深度伪造检测和伪造位置定位及排序。设计损失项，令预测多标签的顺序遵从深度伪造图像修改时的真实顺序。2.以往二分类方法难以直接泛化到多标签排序问题上。输入为真时，所有实例的响应趋于为1。

2.提出Diverse Style Shifts Simulation (DSSS)和两个相关损失，通过可学习风格基底合成多样的分布偏移。1.对抗性学习、元学习、对比学习等策略在训练过程中学习域不变特征，以增强泛化性。1.提出Test-Time Style Projection（TTSP），通过一组样式基底，将未知域的样本映射到源域分布。3.以往test-time域泛化的风格基底是粗糙且不能自适应的。2.最大限度表示已知风格空间，并将未知域样本映射到已知域。1.利用测试数据增强模型的泛化性。

1.Data-Independent Operator：手工过滤器和随机初始化的卷积层可被用作免训练的伪影表征提取器。2.令特征提取器尽可能少地依赖于训练数据，压缩图片内容对分类器的影响，以减少对训练数据的过拟合。1.以往工作依赖于生成多样的训练数据，或者依赖于大规模预训练模型，但是这会带来高昂的计算成本。2.不同来源的数据存在分布偏移，这种偏移来源于内容（形状、结构、视觉属性）和伪影因素。4.保证分类器的数据独立性，对已知数据和未知数据进行无偏处理。1.小型的免训练过滤器足以捕获泛化性伪影表征。

2.Categorical Style Assembly（组装）：同时考虑样本多样性与类别概念，生成风格多样的样本，模拟实例级的风格迁移。3.Asymmetric Instance Adaptive Whitening：利用实例白化去除域特有风格，同时不影响域不变鉴别性特征。1.Dynamic Kernel Generator：提取实例自适应的特征辅助域泛化。2.由于光照、背景等因素干扰，域级别的对齐会产生许多细粒度子域。1.特征关系存储着图片中的域特有风格，白化转换可以移除特征关系。

2.预训练梯度模型可以过滤掉图像内容，只保留与预训练模型的目标任务相关的鉴别性像素，使得到的梯度更依赖于预训练模型，而不是训练数据，从而可以提高检测器在未知域的性能。提出梯度学习（LGrad）框架，将依赖于数据的问题转化为依赖于转换模型的问题；3.预处理、数据增强和减少频率级伪影可用来构建鲁棒的检测器，但是，仍然需要对生成模型构建更具泛化性的表征（梯度）。2.依赖于局部伪影、混合边界、全局纹理和频率级伪影的方法容易过拟合于训练集。2.将数据驱动问题转换为模型驱动问题，通过引入转换模型，增强检测器的鲁棒性。

3.Adversarial Attribute Generation Module：对语义鉴别器进行对抗性训练，学习正常样本的各种属性的语义分布，以此将语义扰动值设置到合适的边界上。4.高度不规则的属性空间分布使得约束语义扰动十分困难，较小的阈值使扰动容易被检测出来，较大的扰动容易产生异常面容。1.属性攻击对像素分布的影响有限，因此可以绕过现有基于像素的检测器，比像素攻击更有影响力。将伪造图像转换到GAN潜在空间中，搜索最优的语义属性进行扰动。1.将潜在特征空间中的低密度部分优化为高密度部分。

引入了一种新的频率感知方法FreqNet，同时挖掘图片中的频域信息和CNN模型提取到的特征，将频域学习集成到轻量CNN分类器中，围绕频域学习来强化深度伪造分类器的泛化性。2.频域卷积层：在频域中捕获更广泛的伪造指示，不仅用频域信息作为伪影表征，还利用频域学习在相位谱和振幅谱上学习域无关特征，以增强分类器泛化性能。2.生成模型的特有伪影使深度伪造检测器难以充分在频域中进行学习，并使其过拟合于训练数据中的伪影，难以在不可见域上具有良好的泛化性能。3.尽管频域属性可用来做真假鉴别，但其在不同域上的泛化性较差。

1、Deepfake detection领域缺乏一个标准、统一、全面的benchmark。现有方法的数据处理、实验设置、评估策略、度量方式不一致。2、构建模块化的代码库，其中三个核心模块分别为：数据处理模块（处理、排列）、训练模块（单一检测、空间检测、频率检测）、评价分析模块。2、现有检测方法分为： Naive detector、Spatial detector、Frequency detector。1、设计标准的数据处理系统，以确保所有检测器的输入一致。3、设计标准的评估指标和协议。

SBIs利用混合单个原始图像生成伪原始图像和伪目标图像，以此生成常见的伪造伪影（例如，混合边界、原始图像和目标图像之间的统计学不一致性）。为什么要制造统计学不一致：因为要尽可能模拟真实情况，哪怕一致情况下的伪造结果属于难样本，但是并不能满足目标要求，即模拟四种预先定义的伪影。对源图像、目标图像分别进行增强，生成统计学不一致（色彩：rgb通道、色相、饱和度、值、亮度和对比度；频域：下采样、锐化）7. 通过单张图片混合不存在相似坐标点搜索的步骤（寻得更匹配的原图、目标图，有利于提高生成质量）。

1.现有深度伪造检测方法使用真伪数据通过DNN进行训练，仅利用全局特征使其在面对未知伪造手段时泛化性能较差。3.现有处理泛化性的手段主要为多任务学习和伪合成，但面对高质量深度伪造样本时二者的效果并不鲁棒。3.伪造痕迹不仅会表现在单个像素点，也会影响其周边地相邻像素，因此可同时编码敏感点和其相邻点。1.现有特征提取架构倾向于提取全局特征，因此需要提出能捕获局部细微特征的机制。利用多尺度特征的同时不引入冗余，将鉴别性低级特征扩展为最终输出特征。4.特征金字塔网络可以用多尺度的低级特征补充全局特征。

重新思考基于CNN的深度伪造生成器，并构建了伪影的通用表征近邻像素关系Neighboring Pixel Relationships (NPR)，提升深度伪造检测的泛化性。3.为了提升检测算法的泛化性，以往工作通常优化检测算法、扩充数据集、预训练模型，但是缺乏域不变表征使这些方法依旧难以应用于未知域。4.当前一些工作主要研究上采样对整个图像在频域的影响，并用频谱表征上采样伪影，但是GAN不同的频域模式限制了频域伪影的泛化性能。通过重新探究生成模型的上采样模块的像素级影响，实现域无关的伪造检测。

1、阶段一：通过自监督的方式，利用图像信息和音频信息之间的自然对应关系，习得包含面部动作、表情、身份等信息的时间密集特征。1、伪造检测所面临如下挑战：对于伪造检测任务，基于单张视频帧的泛化方法已较为成熟，但这些方法对干扰比较敏感（例如，分辨率压缩）。将时间维度纳入考虑，利用talking faces在外貌和动作中蕴含的丰富信息解决上述问题，同时避免模型过拟合于现有伪造技术。2、阶段二：伪造检测器将时间密集视频特征作为输出目标，并进行伪造分类任务。

3、Dynamic Graph Spatial-Frequency Feature Fusion Network：挖掘空间特征频域特征的高阶关系。(1)Multi-Scale Attention Ensemble (MSAE)：获得足够的感受野和丰富的上下文信息。(3)Bilinear Attention Pooling (BAP)：获取关系感知的特征。2、空间特征和频率特征之间存在高阶关系，而图卷积网络（GCN）在关系推理中具有巨大的潜力。2、挖掘空间特征和频率特征之间的高阶关系。

排名第二第三的预测结果依然有较高概率为正确类，只将排名最高的预测结果作为标签会带来严重噪声。基于open-world场景，利用无标签数据同时提高对已知伪造手段和未知伪造手段的溯源性能。1.目前的伪造模型溯源工作都是基于GAN生成数据，基于身份交换和表情转换的研究相对较少。判断输入数据是否为伪造，若为伪造，则基于伪造手段进行分类（无论伪造手段是否已知）。Protocol-2：对真实数据和伪造数据进行二分类，并对伪造数据进行溯源。2.现有方法假定训练集、测试集的标签空间相同，因此面对未知攻击时性能较差。

2.由于数据分布的差异，模型检测新技术生成的图片时准确率显著降低。通过探究不同域样本对之间的语义关系，学习基于监督对比学习的域不变表示，减轻特征间的域差异，防止过拟合于不充足的新数据。提出了增量学习框架，通过从少量的新样本中不断学习，提升Deepfake Detection模型的泛化性。对新数据和旧数据之间的关系进行建模，基于少量新样本，快速将检测模型泛化到新的域。3.伪造检测任务存在数据不平衡问题，新增伪造方法样本远少于已知伪造方法。3.亟需一种能够应对多种潜在伪造方法的检测模型。

2.在频域内进行对抗性攻击可以保证原始数据的视觉质量并减轻带给空间域的冗余噪声，同时提高检测器的迁移性。2.图片的低频区域与内容相关，高频段与边缘纹理相关，频率差异通常被作为Deepfake检测的线索。3.混合对抗攻击：基于元学习思想，在空间域和频率域交替进行扰动优化，提高攻击的泛化性能。3.相对于目标攻击，非目标攻击更能适应多样化的分类边界，泛化性也更强。1.真假样本在频段上呈现出差异性，假样本的高频段相对占比更大。3.对抗性样本的目的是欺骗检测器，伪造样本的目的是欺骗人类。

现有模型主要通过提取特定的伪造模式进行深度伪造检测，导致学习到的表征与训练集中已知的伪造类型高度相关，因此模型难以泛化到未知的伪造类型上使用。1.真实样本的特征分布相对更为紧凑，因此学习真实人脸之间的共同特性比学习训练集呈现出的过拟合伪造特性更为合适。提出基于重构-分类学习的伪造检测框架，着重学习真实人脸的紧凑表征，一从真实人脸中区分出未知模式的伪造人脸。只对真实样本进行重建学习以习得真实图像的紧凑表示，通过真实人脸与伪造人脸在分布上的重构差异进行伪造检测。构建度量学习损失，增加重建区分度。

1.检测模型将既不与原图相关也不与目标图相关的视觉概念看作是与伪造相关的视觉概念，性能良好的检测模型应该基于源/目标-无关的视觉概念来判断真伪。2.在标签的监督下，伪造-原图-目标图匹配可以帮助丢弃伪造无关视觉特征，隐式学习伪造相关的视觉概念。直接将源/目标无关特征从源/目标视觉概念中分离出来去进行真伪检测可以提升在压缩视频上的性能。1.验证假设，并从图像匹配的角度评估视觉概念的关系，以此解释检测模型的预测结果。3.视觉概念：具有语义的人脸区域，如嘴、鼻子、眼睛。第二种：真实图片与伪造图片不相关。

1.利用伪造配置池合成伪造数据来增加伪造的“多样性”。（配置：合成某种伪造数据的特定方法或控制特定合成过程的一组参数）为探索更大的伪造空间，使用对抗训练策略动态合成当前最具挑战性的伪造数据。将Deepfake检测器用于不可见的伪造手段仍比较困难。2.通过预测伪造配置增强模型对伪造的“敏感性”。泛化性好的表征应该对多种类型的伪造都很敏感。合成网络生成特定的伪造配置，即指定伪造区域。合成伪造数据：能合成的伪造类型比较有限。，并基于上述配制合成伪造图像。为经过变形操作产生的掩膜。预测输入图像的伪造配置。

思路：构建中间域数据，令特征提取器与分类器在中间域数据混合效果不佳时仍能提取到域不变特征。通过构建中间域来平滑地连接源域和目标域。

2.现有伪造检测技术依赖于缺乏理论约束的深度神经网络提取伪造特征，难以保证提取到全面的伪造线索和消除无关特征。通过提取多个不重叠的局部特征，并其融合成一个语义信息丰富的全局特征，实现最终特征的充分和纯净。2.基于对互信息的理论分析设计局部信息损失，以保证局部特征之间的正交性和充分性。2.现有方法没有理论支持，使其难以获取足够的标签相关信息和消除任务无关信息。4.基于信息瓶颈理论设计全局信息损失，以融合局部表示并消除任务无关的信息。实现全面的伪造线索提取和无关特征的去除。特征，同时进行全局特征的净化。

基于可变形点云对表情、颜色、位置等信息进行建模。对原始颜色进行解纠缠，得到固有反射和相关阴影。总结：可以看作是对局部像素的分解与扩展。通过神经渲染技术获得底层的几何表示。基于几何、物理、光照进行建模。总结：对全局结构的关注和扩展。二、talking-head。

3.在训练阶段，过拟合的模型会同时记住人种模式，直接最小化公平性损失会陷入不理想的局部或全局最小值，无法保持公平性的跨域泛化。3.许多工作致力于通过增加注释来解决Deepfake数据集中存在的数据偏差，但相关的公平性泛化问题一直没有得到有效解决。1.通过对比，发现公平性方法DAW-FDD和公平性损失DAW-FDD(UFC)在跨数据集测试时均会失效。使用解纠缠学习来提取人口统计学和与领域无关的伪造特征，并通过融合它们来促进公平学习。在泛化原则的指导下，利用解纠缠得到的特征促进公平性学习。

2.现有关注时间、视觉线索的方法侧重于像素等低级特征，忽略了面部属性等高级内容的时序变化，难以应对伪影痕迹不明显的新增伪造视频。3.使用风格特征的GAN反演模型的性能优于直接修改潜在风格特征的模型，但图像域的风格特征不能直接用于视频域的深度伪造检测任务。3.引入了一个风格注意力模块，结合styleGRU生成的特征和内容特征，从而同时检测视觉和时间伪影。1.由于面部表情和几何变换，伪造视频的潜在风格向量在时间维度上存在时序不一致性。1.验证了潜在风格向量的时序变化对提升泛化性的作用。