【论文笔记】Robust Image Forgery Detection Against Transmission Over Online Social Networks

Deep_Lnna

已于 2023-03-11 17:11:43 修改

阅读量1.4k

点赞数 5

分类专栏：篡改检测论文阅读文章标签：论文阅读计算机视觉人工智能

于 2023-03-08 22:01:34 首次发布

本文链接：https://blog.csdn.net/weixin_45366180/article/details/129398005

版权

本文提出了一种针对在线社交网络传输的图像伪造检测的新方法，通过模拟可预测噪声和不可见噪声提升检测器的鲁棒性。这种方法在处理经过OSN传输的伪造图像时表现出优越性能，且构建了一个公共伪造数据集供未来研究使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

针对在线社交网络传输的鲁棒图像伪造检测
发布于2022 TIFS
源码链接：https://github.com/HighwayWu/ImageForensicsOSN

OSN：在线社交网络

摘要

OSN成为传播伪造图片、报道假新闻、传播谣言等的主要渠道。但OSN所采用的各种有损操作，如压缩和调整大小，给实现鲁棒图像伪造检测带来了巨大的挑战。为了对抗OSN共享的伪造，本文提出了一种新的鲁棒训练方案。

首先，设计了一个基线检测器，它在最近的证书伪造检测比赛中获得了第一名。然后对OSN引入的噪声进行了深入的分析，将其分解为两部分，即可预测噪声和不可见噪声，并分别建模。

前者模拟了OSN公开的(已知)操作所带来的噪声。
后者不仅完成了前一个操作，而且考虑了探测器本身的缺陷。

进一步将模型噪声纳入一个鲁棒的训练框架，显著提高了图像伪造检测器的鲁棒性。大量的实验结果验证了该方案相对于其他同类方案的优越性，尤其是在检测OSN传输的伪造信息方面。最后，为了促进图像伪造检测的未来发展，我们在现有的4个数据集的基础上，通过上传和下载4个最流行的OSN，构建了一个公共伪造数据集。

引言

挑战

随着互联网的蓬勃发展，在线社交网络（OSNs）已经成为信息传播的主导平台，其中图像占据了很大一部分。自然地，许多伪造的图像通过各种OSN传输，严重地影响了人们对重要文件（证书）、商业产品、政治问题等的看法。

在无处不在的OSN平台上，针对有损操作的鲁棒伪造检测的设计却鲜有研究。这样一个主题是非常重要的，因为这些有损操作会严重降低检测性能。如图1所示。目前最先进的算法能够准确地从原始伪造中检测出伪造区域，但在处理通过Facebook传输的伪造时，检测性能会严重下降。
在这里插入图片描述
为了减轻OSN的负面影响，最关键的问题是对OSN的有损通道引入的噪声进行分析和建模。然而，这是一个相当困难的问题，主要是因为目前的平台没有公开对传输图像的操作过程。虽然现有的一些作品揭示了OSN所采用的部分流程，但仍有许多未知操作，如Facebook的增强过滤、质量级别的分配机制、调整因子，甚至调整时使用的插值等，都是不清楚的。更重要的是，OSN经常调整它们的图像处理管道，这使得建模更加具有挑战性。

方法的提出

为了应对上述挑战，在本文中，我们旨在设计一种鲁棒的图像伪造检测方法，以克服OSN中的有损操作。我们首先设计了一个基线检测器，它在最近的证书伪造检测比赛中获得了第一名。然后针对OSN退化问题，提出了一种噪声建模方案，并将模拟噪声集成到一个鲁棒训练框架中。更具体地说，我们将OSN噪声分解为两个部分:1)可预测噪声和2)不可见噪声。前者用于模拟已知操作(如JPEG压缩和缩放)带来的可预测损失，其建模依赖于具有残差学习的深度神经网络(DNN)和嵌入的可微JPEG层。而后者是前者的补充和延伸，主要是针对OSNs所进行的不可知行为和/或各种OSNs在训练和测试中的差异。显然，从信号特征的角度建立一个合适的模型是不现实的。为了解决这个困难，我们将我们的观察从噪声的角度转移到检测器本身，只关注可能导致检测性能恶化的噪声。这种策略自然孕育了一种新的算法，利用对抗噪声的思想对不可见噪声进行建模，它本质上是一种难以察觉的扰动，会严重降低模型性能。

正如预期的那样，我们的鲁棒图像伪造检测方法显示出了良好的鲁棒性，特别是在OSN传输的情况下，其性能优于目前的几种最先进的算法。如图1所示为我们方案的检测结果实例，验证了我们的模型对OSN上传输的鲁棒性。最后，为了进一步的研究，我们基于现有的4个数据集，分别通过Facebook、Whatsapp、微博和微信平台手工上传和下载，构建了一个包含7000多个条目的公共伪造数据集。

主要贡献

设计了一个基线图像伪造检测器，它在最近的证书伪造检测比赛中获得了第一名。这个基线检测器也是这项工作的基石。
提出了一种针对OSN传输的鲁棒图像伪造检测的新训练方案。该训练方案不仅模拟了包含OSN的可预测噪声，而且通过新提出的算法融合了不可见噪声，进一步提高了检测器的鲁棒性。
与几种最先进的方法相比，我们提出的模型获得了更好的检测性能，特别是在对抗OSN上传输的情况下。
基于现有的4个数据集，分别通过Facebook、Whatsapp、微博、微信平台上传和下载，构建了一个公共伪造数据集。

OSN

几乎所有的OSN都以有损的方式操作上传的图像。这些有损操作所带来的噪声会严重影响取证方法的有效性。以Facebook为例，这些操作主要包括四个阶段:格式转换、调整大小、增强过滤和JPEG压缩。具体来说，首先将上传的图像转换为像素域，在像素域中使用截断来确保像素值在[0,255]之内。在此之后，如果图像的分辨率高于2048像素，则应用大小调整。然后，对图像中选定的部分块进行高度自适应的复杂增强滤波。由于这些增强滤波操作具有自适应性，所以要准确地知道它们是非常具有挑战性的。最后，对图像进行一轮JPEG压缩，并根据图像内容自适应确定质量因子(QF)。

通过分析[18]提供的数据集，Facebook使用的QF值在71 - 95之间，更详细的分布如图2(a)所示。此外，我们还在图2 (b)中展示了通过Facebook传输图像时像素值的变化情况。虽然不同OSN平台上的图像处理方式不同，但主流OSN的操作仍有许多相似之处[18]。