论文阅读《EditGuard: Versatile Image Watermarking for Tamper Localization and Copyright Protection》

糖炒栗子要加糖

已于 2024-09-12 23:54:51 修改

阅读量700

点赞数 15

分类专栏：鲁棒隐写深度水印 AIGC 文章标签：论文阅读安全 python 深度学习

于 2024-09-12 23:26:00 首次发布

本文链接：https://blog.csdn.net/2301_81845359/article/details/142187433

版权

鲁棒隐写同时被 3 个专栏收录

8 篇文章 0 订阅

订阅专栏

深度水印

4 篇文章 0 订阅

订阅专栏

AIGC

3 篇文章 0 订阅

订阅专栏

CVPR 2024 北京大学已开源

Zhang, Xuanyu, Runyi Li, Jiwen Yu, Youmin Xu, Weiqi Li, and Jian Zhang. "Editguard: Versatile image watermarking for tamper localization and copyright protection." In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 11964-11974. 2024.

一、所提问题

在人工智能生成内容（AIGC）时代，如何有效地进行图像版权保护和篡改定位的问题。随着AI模型能够生成越来越逼真的图像，未经授权的复制和恶意篡改对版权完整性和信息安全构成了严重威胁。现有的图像水印方法虽然广泛用于保护视觉内容，但它们在定位越来越逼真的图像篡改方面存在不足，这可能导致信任危机、隐私侵犯和法律纠纷。

二、方法介绍

为了解决这些挑战，文章中提出了以下工作：

1、提出EditGuard框架：EditGuard是一个创新的前瞻性取证框架，旨在统一版权保护和篡改无关的定位，特别是针对基于AIGC的编辑方法。它能够细致地嵌入不易察觉的水印，并精确解码篡改区域和版权信息。

关键部件：

双重水印编码器（Dual-Watermark Encoder）：该编码器依次将预定义的定位水印和全局版权追踪水印嵌入到原始图像中，形成容器图像。

篡改定位器（Tamper Locator）：该模块负责从接收到的（被篡改的）图像中预测篡改区域的掩码。

版权提取器（Copyright Extractor）：该模块用于从接收到的图像中提取版权信息。

图像-位隐写网络（Image-Bit Steganography Network, IBSN）：这是EditGuard的核心。IBSN利用观察到的图像到图像（Image-to-Image, I2I）隐写的脆弱性和局部性，将双重取证任务的解决方案转化为训练一个统一的图像-位隐写网络。

可逆块（Invertible Blocks）：在IHM和IRM中使用，通过可逆的神经网络结构来精确地恢复多媒体信息。

基于提示的后验估计模块（Prompt-based Posterior Estimation Module）：该模块用于增强图像隐藏和揭示模块的保真度和鲁棒性。

位加密和恢复模块（Bit Encryption and Recovery Modules）：用于将版权水印嵌入到中间图像，并从接收到的容器图像中恢复版权水印。

2、利用图像到图像隐写术的特性：文章观察到图像到图像（I2I）隐写术的脆弱性和局部性，并利用这些特性将EditGuard的实现转化为统一的图像-位隐写问题，从而完全将训练过程与篡改类型解耦，赋予了EditGuard出色的泛化能力和零拍摄定位篡改的能力。

3、构建联合图像-位隐写网络（IBSN）：提出了一个包括图像隐藏模块（Image Hiding Module, IHM）、位加密模块（Bit Encryption Module, BEM）、位恢复模块（Bit Recovery Module, BRM）和图像揭示模块（Image Revealing Module, IRM）的网络，用于嵌入和提取水印信息。示意图如下。

联合图像位隐写网络( United Image-bit Steganography Network，IBSN )示意图。在训练过程中，随机采样原始图像 $I_{ori}$ 、定位水印 $W_{loc}$ (一幅自然的RGB图像)和版权水印 $W_{cop}$ ，期望IBSN能够高保真地恢复 $\hat{I}_{ori}$ 、 $\hat{W}_{loc}$ 和 $\hat{W}_{cop}$ 。在推断过程中，使用带有掩码提取器( ME )的预训练IBSN的核心组件来构建EditGuard，并预先定义一个简单的固体彩色图像作为定位水印。

4、引入基于提示的后验估计模块：为了提高定位精度和对退化的鲁棒性，引入了一个基于提示的后验估计模块。示意图如下。

5、实验验证：通过在构建的数据集和经典基准测试上的实验，验证了所提方法的有效性。与其他竞争方法相比，EditGuard在定位精度、泛化能力和版权准确性方面具有显著优势，且不需要特定篡改类型的标记数据或额外训练。【详细的实验见论文】

6、扩展到AIGC编辑方法：文章还展示了EditGuard在多种AIGC编辑方法上的泛化能力，包括对抗性隐写术和版权保护。

补充：一些对比方法：T . L .，T. D和C . P分别表示篡改定位，篡改检测和版权保护。

三、应用场景

1、如何判断？

通过比较提取的水印信息，具体场景如下：

Case 1: 版权信息不匹配（ $\hat{W}_{cop} \neq W_{cop}$ ）在这种情况下，如果提取的版权信息（ $\hat{W}_{cop}$ ）与原始版权信息（ $W_{cop}$ ）不匹配，这表明图像可能没有在EditGuard系统中注册，或者图像经历了极端严重的全局篡改，导致版权信息无法被准确恢复。因此，这样的图像在法律或取证上可能不被视为可靠证据。
Case 2: 版权信息匹配但存在篡改区域（ $\hat{W}_{cop} \approx. W_{cop}$ 且 $\hat{M} \neq 0$ ）如果版权信息匹配，但预测的篡改掩码（ˆM）显示图像中有篡改区域，这意味着图像虽然版权信息有效，但图像内容受到了篡改。用户可以根据篡改区域的位置和范围推断篡改者的意图，并决定是否重新使用图像的未被篡改部分。
Case 3: 版权信息匹配且无篡改区域（ $\hat{W}_{cop} \approx. W_{cop}$ 且 $\hat{M}= 0$ ）在这种情况下，版权信息与原始信息匹配，且没有检测到篡改区域，说明图像在EditGuard的保护下未被篡改，是可信的。这样的图像可以被认为是真实和可靠的，可以用于法律或取证目的。

2、应用

四、隐写术的应用

在EditGuard中，隐写术的应用主要体现在以下几个方面：

图像-位隐写网络（IBSN）：EditGuard利用了图像到图像（Image-to-Image, I2I）隐写术的特性，将版权信息（位信息）和定位水印（图像信息）嵌入到原始图像中，生成难以检测的容器图像。这种技术利用了隐写术的隐蔽性，使得嵌入的信息不易被察觉。
脆弱性和局部性：EditGuard观察到图像隐写过程中的脆弱性和局部性。脆弱性意味着当容器图像（含有嵌入信息的图像）发生显著变化时，提取的秘密信息也会受损并产生伪影。局部性指的是伪影几乎只在容器图像发生变化的相应位置及其邻近区域产生强烈响应。这些特性使得EditGuard能够有效地定位篡改区域。
可逆块（Invertible Blocks）：在图像隐藏模块（IHM）和图像揭示模块（IRM）中，使用可逆块来精确地隐藏和揭示图像信息。这些模块的设计借鉴了隐写术中对信息隐藏和恢复的需求，确保了在提取隐藏信息时的高保真度。【可逆块用于将秘密信息嵌入到图像中，同时保证能够从被修改的图像中无损地提取这些信息】
版权水印和定位水印的嵌入：EditGuard将版权水印（1D信息）和定位水印（2D图像）嵌入到原始图像中，这些操作都涉及到隐写术的原理，即在不显著改变媒体外观的情况下隐藏信息。【嵌入信息的方法】