顶会总结与综述（图像篡改定位方向）

WhyteHighmore

于 2024-10-12 17:31:50 发布

阅读量1.8k

点赞数 18

分类专栏：论文文章标签：图像处理论文阅读图像篡改论文总结论文综述

本文链接：https://blog.csdn.net/weixin_45320238/article/details/142882638

版权

论文专栏收录该内容

8 篇文章

订阅专栏

A基于深度学习的数字图像篡改定位方法综述

本文对基于深度学习的图像篡改定位方法进行了梳理。介绍了图像篡改定位中 常用的数据集及评价标准，以在篡改定位中应用的不同网络架构为依据分析了现有方法的技术特点和定位性能，并讨论了图像篡改定位面临的挑战和未来的研究方向。

篡改类型

滑动窗口的方式（传统方法）》深度学习

典型图像操作：重采样[10,11]、滤波[12,13]、JPEG 压缩[14,15]；旋转、缩放、加噪、模糊、压缩；基于 JPEG 压缩误差[40]、DCT 系数分布[23,41,42]、去马赛克痕迹[24]、局部噪声不一致[43]

添加、移除；拼接、复制移动、内容填充

性能评价指标

精度（Accuracy，ACC）

F1-分数（F1-score）

ROC 曲线下面积（Area Under the Curve，AUC）

马修斯相关系数（Matthews Correlation Coefficient，MCC）

交并比（Intersection over Union，IoU）

各种方法

自编码器（Autoencoder，AE）是一种无监督学习框架，它包含编码器与解码器两部分，其中编码器将输入图像映射成维数较低的特征，解码器则利用该特征重构输入图像。通常将网络输出与输入的均方误差（MSE）作为损失函数来对网络参数加以优化，使得输出和输入逐渐接近。

zero-shot零次学习 ZSL ：模型能够对其从没见过的类别进行分类，让机器具有推理能力，对要分类的类别对象，一次也不学习。（熊猫、老虎-》斑马）

而卷积神经网络[57]（Convolutional Neural Network，CNN）则被普遍地使用

全卷积网络[58]（Fully Convolutional Network，FCN）卷积层代替全连接层

区域声称网络R-CNN（Region proposals with CNN features）系列网络（前两个在图像语义分割和目标检测中常用）

而孪生网络[61]（Siamese Network）在部分问题中也占据一席之地

将两个输入（Input1 and Input2）进入两个神经网络（Network1 and Network2），这两个神经网络分别将输入映射到新的空间，形成输入在新的空间中的表示。通过Loss的计算，评价两个输入的相似度。

孪生神经网络（共享权值）用于处理两个输入"比较类似"的情况（两个句子或者两个词汇的语义相似度）。伪孪生神经网络（不共享权值）（pseudo-siamese network）适用于处理两个输入"有一定差别"的情况（一个句子和标题买书是否一致）。

one-shot学习：孪生网络解决问题：应对人脸识别新员工入职问题

长短期记忆网络[62]（Long short-term memory，LSTM）

生成对抗网络[63] （Generative Adversarial Network，GAN）

新名词：

结构风险最小化 SRM (Structural Risk Minimization) ：把函数集构造为一个函数子集序列,使各个子集按照VC维的大小排列;在每个子集中寻找最小经验风险,在子集间折衷考虑经验风险和置信范围,取得实际风险的最小。

条件随机场CRF：是条件概率分布模型 P(Y|X) ,表示的是给定一组输入随机变量 X 的条件下另一组输出随机变量 Y 的条件概率分布模型,其特点是假设输出随机变量构成马尔可夫随机场。

水论文：水论文的程序猿、耿同学讲故事（生物）、来自星星的何教授（物理）、龙王山小青椒、做科研的大师兄（医学）、宇凡讲故事（文科）

潜在创新点：

上述介绍的方法都在一定程度上借鉴了计算机视觉领域中为语义分割、目标检测所设计的网络架构

深入分析不同来源图像的内在联系，改进网络架构，以提高方法泛化能力

当图像经受了 JPEG 压缩或尺寸缩放等处理后，模型性能也会显著降低。尽管可以通过在训练数据中引入后处理来进行数据增强，以减轻性能下降的程度，但这没有从根本上解决问题

可以预计这些后处理达到一定强度时，篡改区域和原始区域的差异已被完全破坏，导致无法定位篡改区域。是否存在这样的性能下界以及如何确定它们

深度神经网络本身还容易遭到对抗样本的攻击，这意味着在设计算法时还需顾及到如何对此种攻击抵抗

深度模型可解释性研究在图像分类领域已形成一定规模，借鉴相关的研究成果是一种可行的办法。

An Overview on the Generation and Detection of Synthetic and Manipulated Satellite Images

卫星图片

forensic 取证

forgeries； forgery 伪造

remote sensing imagery遥感图片

在本文中，我们回顾了卫星图像的生成和操作的sota。我们的重点是从零开始生成的合成卫星图像（直接合成），以及通过图像传输技术的语义处理卫星图像（语义修改），包括将从一种传感器获得的图像转换为另一种传感器。

我们还描述了迄今为止研究的用于分类和检测合成图像伪造的伪造检测技术。虽然我们主要关注专门用于检测人工智能生成的合成内容的伪造技术，但我们也回顾了应对拼接检测设计的一些方法，这些方法原则上也可用于发现人工智能操纵的图像。

SILA: a system for scientific image analysis

医学影像

因此，我们介绍了SILA，一个系统，使图像分析工具的评审人员和编辑者在一个原则性的方式。此外，SILA是第一个人在循环的端到端系统，它提取PDF中图片进行检测，最后用原图图片间关系以及潜在问题。为了评估其有效性，我们引入了一个来自全球的科学论文数据集，其中包含带注释的图像操作和无意的重用，这可以作为手头问题的基准。使用该数据集描述了系统的定性和定量结果。

Towards JPEG-Resistant Image Forgery Detection and Localization Via Self-Supervised Domain Adaptation

Published 2022~raoyuan

处理jpeg压缩伪造图片识别的问题。针对这一问题，本文提出了一种由Siamese架构的骨干网和ComNet压缩逼近网络组成的自监督域自适应网络，用于抗jpeg图像伪造检测和定位。为了提高抗JPEG压缩的性能，ComNet被定制为通过自监督学习近似JPEG压缩操作，生成具有一般JPEG压缩特征的JPEG代理图像。然后利用领域自适应策略对骨干网络进行训练，定位篡改边界和区域，减轻未压缩图像和jpeg代理图像之间的领域转移。在几个公开数据集上的大量实验结果表明，该方法在图像伪造检测和定位方面优于或竞争其他最先进的方法，特别是对于未知QFs的JPEG压缩。

Multi-semantic CRF-based attention model for image forgery detection and localization

Published Jun 2021 |-raoyuan

本文提出了一种基于深度卷积神经网络(CNN)的图像伪造检测与定位方案，该方案融合了基于多语义crf的注意模型。该方法基于一个关键观察，即混合操作产生的边界转移伪影在各种图像伪造操作中普遍存在，我们的方法利用基于CRF(条件随机场)的注意力模型，通过生成注意力图来表示图像中每个像素被伪造的概率，从而很好地表征了这一伪影。然后使用生成的注意图来重新加权卷积特征图，以抑制噪声，并突出显示伪造边界周围的信息区域，引导网络捕获更多用于图像伪造的内在特征，而不是特定于操纵的工件。采用不同语义的多尺度注意图，充分利用局部和全局信息，提高泛化能力，再结合CNN模型进行有效的图像伪造检测和定位。在几个公开数据集上的大量实验结果表明，该方法在图像伪造检测和定位方面优于或竞争其他最先进的方法。

Self-supervised Domain Adaptation for Forgery Localization of JPEG Compressed Images

2021-raoyuan

BioFors: A Large Biomedical Image Forensics Dataset

医学图像数据集

媒体取证方面的研究在打击错误信息传播方面取得了进展。然而，大多数研究都是针对社交媒体上产生的内容。生物医学图像取证是一个相关的问题，其中生物医学研究文件中报告的图像操纵或滥用是一个严重关切的问题。由于缺乏基准数据集和标准化任务，这个问题未能在学术讨论之外获得动力。在本文中，我们提出了BioFors，第一个数据集，用于对常见的生物医学图像处理进行基准测试。BioFors包括从1031篇开源研究论文中提取的47805张图像。BioFors中的图像分为四类-显微镜，Blot/Gel, FACS和Macroscopy。我们还提出了法医分析的三个任务-外部重复检测，内部重复检测和切割/锐利过渡检测。我们用最先进的算法对BioFors的所有任务进行基准测试。我们的结果和分析表明，在通用计算机视觉数据集上开发的现有算法在应用于生物医学图像时并不健壮，这表明需要更多的研究来解决生物医学图像取证的独特挑战。

Benchmarking Scientific Image Forgery Detectors

医学图像

由于缺乏可用的数据集来设计和评估验证技术，科学图像完整性领域提出了一个具有挑战性的研究瓶颈。数据的敏感性也造成了法律障碍，限制了使用真实案例来构建任何可访问的取证基准。因此，对科学图像自动图像分析工具的局限性和能力没有全面的认识，这可能会造成数据完整性的错误感觉。为了缓解这个问题，我们提出了一个可扩展的开源算法库，该算法库再现了研究完整性社区报告的最常见的图像伪造操作:复制、修饰和清理。我们使用这个库和真实的科学图像创建了一个大型科学伪造图像基准(39,423张图像)，并丰富了地面真相。基准中的所有数据都使用从知识共享资源收集的图像进行综合处理。在收集源图像时，我们确保它们没有出现任何可疑的完整性问题。由于图像重复导致大量论文被撤稿，本研究评估了所建议数据集中最先进的复制移动检测方法，使用了一种新的指标，该指标断言源和复制区域之间的匹配检测是一致的。所有评估的方法在该数据集中的性能都很低，这表明科学图像可能需要专门的复制移动检测器