weixin_43780665的博客

随着人脸处理技术的进步，多人脸场景下的图像伪造正逐渐成为一个更加复杂和现实的挑战。尽管如此，这种多人脸操作的检测和定位方法仍然不发达。传统的操作定位方法要么间接地从定位掩码中获得检测结果，导致检测性能受限，要么采用朴素的双分支结构同时获得检测和定位结果，由于两个任务之间的交互作用有限，无法有效地提高定位能力。本文提出了一个专门针对多人脸操作检测和定位的新框架，即MoNFAP。MoNFAP主要引入了两个新颖的模块：伪造感知的统一预测器（FUP）模块和混合噪声模块（MNM）。

在图像处理检测与定位（IMDL）领域尚未建立一个全面的基准。缺乏这样一个基准导致模型评价不充分和具有误导性，严重破坏了这一领域的发展。然而，开源基线模型的缺乏和不一致的训练和评估协议使得在IMDL模型之间进行严格的实验和公平的比较具有挑战性。为了应对这些挑战，我们引入了IMDL- benco，这是第一个全面的IMDL基准测试和模块化代码库。IMDL- benco: i)将IMDL框架分解为标准化、可重用的组件，并修改模型构建管道，提高编码效率和自定义灵活性；

我们提出了一种统一的方法来同时解决二元deepfake分类的传统设置和一个更具挑战性的场景，即揭示哪些面部成分被伪造以及操作的确切顺序。为了解决前一个问题，我们考虑了多实例学习(MIL)，将每个图像作为一个包，将其补丁作为实例。正包对应于伪造图像，该伪造图像包括至少一个被操纵的patch(即，特征图中的像素)。该公式允许我们估计输入图像为伪造图像的概率，并建立相应的对比MIL损失。

由于篡改图像可能导致对视觉内容的误解，解决图像伪造检测和定位(IFDL)问题引起了公众的严重关注。在这项工作中，我们提出了一个简单的假设，即有效的法医方法应该关注图像的细微特性。基于这一假设，本文提出了一种利用扩散模型的两阶段自监督框架，即DiffForensics。DiffForensics从自监督去噪扩散范式开始，该范式配备了编码器-解码器结构模块，通过冻结预训练的编码器(例如，在ADE-20K中)来继承一般图像特征的宏观特征，同时鼓励解码器学习图像的微观特征表示，强制整个模型关注中观表征。

我们提出了一种新的框架unionformer，它通过统一学习集成了三个视图的篡改线索，用于图像处理检测和定位。具体来说，我们构建了一个BSFI-Net，从RGB和噪声视图中提取篡改特征，在不同尺度上调制空间一致性的同时，增强了对边界伪影的响应能力。此外，我们将对象一致性建模与篡改检测和定位结合成一个三任务统一的学习过程，使它们相互促进和提高，以探索对象之间的不一致性作为线索的新视角。因此，我们获得了一个统一的多尺度监督下的篡改判别表示，该表示整合了来自三个视图的信息。

生成合成假人脸，即伪人脸，是提高DeepFake检测泛化的有效途径。现有的方法通常是通过在色彩空间中混合真实或虚假的人脸来生成这些人脸。虽然这些方法已经显示出希望，但它们忽略了伪假面部频率分布的模拟，限制了对通用伪造痕迹的深入学习。为了解决这一问题，本文介绍了一种通过混合频率知识生成伪人脸的新方法FreqBlender。具体来说，我们研究了主要的频率成分，并提出了一个频率解析网络来自适应地划分与伪造痕迹相关的频率成分。然后将伪人脸的频率知识与真实人脸进行融合，生成伪人脸。

（9）安装推荐（recommended）的驱动程序：sudo ubuntu-drivers autoinstall。（7）移除旧的驱动：sudo apt-get remove --purge '^nvidia-.*'（6）安装包和工具：sudo apt install build-essential dkms。（8）nvidia 卡的可用驱动程序：sudo ubuntu-drivers devices。（3）安装dkms: sudo apt-get install dkms。（1）使用nvcc -V。

基于深度学习的模型在图像篡改定位方面取得了很大进展，其目的是区分被篡改的区域和真实的区域。然而，这些模型的训练效率低下。这是因为他们主要通过交叉熵损失来使用GT掩码标签，这优先考虑了每个像素的精度，但忽略了被操纵区域的空间位置和形状细节。为了解决这个问题，我们提出了一个基于掩码引导的基于查询的transformer框架(MGQFormer)，它使用GT来指导可学习查询标记(LQT)识别伪造区域。

在数字取证中，检测多媒体数据操作的能力是至关重要的。现有的图像处理检测方法主要基于对图像编辑或双重压缩伪影产生的异常特征的检测。当涉及到从大图像中检测小篡改区域时，所有现有的IMD技术都遇到了挑战。此外，基于压缩的IMD方法在相同质量因子的双重压缩情况下面临困难。为了在这些具有挑战性的条件下研究最先进的(SoTA) IMD方法，我们引入了一个新的具有挑战性的图像处理检测(CIMD)基准数据集，该数据集由两个子集组成，分别用于评估基于编辑和基于压缩的IMD方法。

基础模型，现在为深度学习中大多数令人兴奋的应用程序提供动力，几乎普遍基于Transformer架构及其核心注意模块。许多次二次时间架构，如线性注意力、门控卷积和循环模型，以及结构化状态空间模型(SSMs)已经被开发出来，以解决Transformer在长序列上的计算效率低下问题，但它们在语言等重要模态上的表现不如注意力。我们发现这些模型的一个关键弱点是它们无法执行基于内容的推理，并进行了一些改进。

Transformer体系结构在建模全局关系方面显示出了非凡的能力。然而，它在处理高维医学图像时提出了重大的计算挑战。这阻碍了它在这项任务中的发展和广泛采用。Mamba作为一种状态空间模型(State Space Model, SSM)，近年来作为序列建模中一种值得关注的远程依赖关系模型，以其显著的存储效率和计算速度在自然语言处理领域表现优异。受其成功的启发，我们引入了SegMamba，一种新颖的3D医学图像分割Mamba模型，旨在有效地捕获每个尺度下整个体积特征中的远程依赖关系。

深度伪造引起了严重的社会关注，导致近年来基于检测的取证方法激增。人脸伪造识别是传统的检测方法，通常采用两阶段流程:首先提取人脸，然后通过分类确定其真伪。由于野外的DeepFakes通常包含多个人脸，使用人脸伪造检测方法仅仅是实用的，因为它们必须按顺序处理人脸，即同时只处理一个人脸。解决这个问题的一个直接方法是通过采用先进的对象检测体系结构，以端到端的方式集成人脸提取和伪造检测。然而，由于这些目标检测架构旨在捕获不同对象类别的语义信息，而不是人脸之间微妙的伪造痕迹，因此直接自适应远远不是最佳的。

深度图像处理定位(IML)模型训练数据不足，严重依赖于预训练。我们认为对比学习更适合解决IML的数据不足问题。形成相互排斥的正集和负集是对比学习的先决条件。然而，在IML中采用对比学习时，我们会遇到三类图像补丁:篡改补丁、真实补丁和轮廓补丁。篡改补丁和真实补丁自然是互斥的，但是同时包含篡改像素和真实像素的轮廓补丁是不互斥的。简单地放弃这些轮廓补丁会导致剧烈的性能损失，因为轮廓补丁对学习结果是决定性的。因此，我们提出非互斥性对比学习(NCL)框架，将传统的对比学习从上述困境中解救出来。

图像处理检测(IMD)至关重要，因为伪造图像和传播错误信息可能是恶意的，并危害我们的日常生活。IMD是解决这些问题的核心技术，主要面临两个方面的挑战:(1)数据的不确定性，即被操纵的工件通常难以被人类识别，导致有噪声的标签，这可能会干扰模型训练;(2)模型不确定性，即同一对象可能由于操纵操作而持有不同的类别(篡改或未篡改)，这可能会混淆模型训练，导致结果不可靠。以往的工作主要集中在通过设计细致的特征和网络来解决模型的不确定性问题，而很少考虑数据的不确定性问题。

由于现实场景中的图像编辑方法无法用尽，因此泛化是图像处理检测的核心挑战，而语义相关特征可能会严重削弱泛化的能力。在本文中，我们提出了SAFL-Net，它通过设计具有相应辅助任务的特定模块来约束特征提取器来学习语义不可知的特征。将约束直接应用于编码器提取的特征，可以帮助编码器学习与语义无关的操作痕迹特征，从而防止在有限的训练数据中与语义信息相关的偏差，提高泛化能力。通过特征转换结构保证了辅助边界预测任务与原始区域预测任务的一致性。

Abstract最近对实例分割的关注主要集中在基于查询的模型上。尽管没有非最大抑制(NMS)和端到端，但这些模型在高精度实时基准测试中的优越性尚未得到很好的证明。在本文中，我们展示了基于查询的模型在高效实例分割算法设计上的强大潜力。我们提出了FastInst，一个简单，有效的基于查询的实时实例分割框架。FastInst可以以实时速度(即32.5 FPS)执行，同时在COCO测试开发中产生超过40(即40.5 AP)的AP，而无需附加功能。具体来说，FastInst遵循最近引入的Mask2Former的元

错误信息已经成为一个紧迫的问题。虚假媒体，无论是视觉形式还是文字形式，都在网络上广泛存在。虽然已经提出了各种深度伪造检测和文本假新闻检测方法，但它们仅针对基于二元分类的单模态伪造而设计，无法对不同模态的细微伪造痕迹进行分析和推理。本文重点研究了多模态伪造媒体的一个新的研究问题，即多模态媒体操纵的检测和定位(DGM4)。DGM4的目的不仅是检测多模态媒体的真实性，而且要对被操纵的内容(即图像边界框和文本标记)进行定位，这需要对多模态媒体操纵进行更深层次的推理。

图像伪造定位的目的是通过从高质量的判别特征中捕捉细微痕迹来识别伪造区域。本文提出了一种具有两个特征提取分支的transformer式网络，用于图像伪造定位，并将其命名为two - branch Transformer (TBFormer)。首先，针对RGB域和噪声域特征，设计了两个特征提取分支，利用区分堆叠的Transformer层进行特征提取;其次，提出了一种注意感知的层次特征融合模块(AHFM)来有效地融合两个不同领域的层次特征。

数字图像真实性促进了图像伪造定位的研究。尽管基于深度学习的方法取得了显著的进步，但大多数方法通常存在伪造区域和真实区域之间严重的特征耦合。在这项工作中，我们提出了一种两步边缘感知区域消息传递控制策略来解决上述问题。具体来说，第一步是考虑充分利用边缘信息。它包括两个核心设计:上下文增强的图构造和阈值自适应可微二值化边缘算法。前者集合全局语义信息来区分伪造区域和真实区域的特征，后者站在前者的输出上提供可学习的边缘。第二步，在可学习边缘的指导下，设计区域消息传递控制器来减弱伪造区域和真实区域之间的消息传递。

deepfake媒体的泛滥引起了公众和相关部门的关注。针对社交媒体上的假脸，制定对策变得至关重要。本文对多面伪造检测和野外分割这两个新的对抗任务进行了全面的研究。在不受限制的自然场景中，在多张人脸中定位伪造人脸比传统的深度假人脸识别任务更具挑战性。为了促进这些新任务，我们创建了第一个大规模数据集，提出了高水平的挑战，该数据集设计了针对面部伪造检测和分割的面部丰富注释，即OpenForensics。由于其丰富的注释，我们的OpenForensics数据集在深度伪造预防和一般人脸检测方面都有很大的研究潜力。