深度学习水印网络架构学习笔记

糖炒栗子要加糖

已于 2024-09-12 23:53:57 修改

阅读量934

点赞数 13

分类专栏：深度水印鲁棒隐写文章标签：安全深度学习图像处理人工智能 python

于 2024-09-12 22:28:22 首次发布

本文链接：https://blog.csdn.net/2301_81845359/article/details/142185863

版权

9 篇文章 0 订阅

订阅专栏

4 篇文章 0 订阅

订阅专栏

目前学习到的一些网络架构，简单整理如下。

1、END框架【嵌入器-噪声层-提取器】

MBRS: Enhancing Robustness of DNN-based Watermarking by Mini-Batch of Real and Simulated JPEG Compression. ACM Multimedia, 2021.
对噪声层进行图像增强，增加噪声（合成&真实）的多样性

De-END: Decoder-driven Watermarking Network. TMM, 2022.
将水印的透明性与鲁棒性结合在一起。将encoder和decoder进行直接耦合交互。通过直接耦合交互的编码器（encoder）和解码器（decoder）来尝试同时满足这两个要求：
直接耦合交互：在De-END架构中，编码器和解码器不是独立工作的，而是通过潜在特征图直接共享信息。这种设计允许编码器生成的水印图像特征能够更好地适应解码器的需求，从而提高了水印的透明性和鲁棒性。
改善透明性：通过确保编码器嵌入的特征与解码器所需的特征高度一致，可以减少对原始宿主图像的不必要修改，从而提高水印图像的视觉质量。
增强鲁棒性：由于编码器和解码器之间的紧密耦合，即使在图像经过处理或攻击后，解码器也能更准确地从修改后的图像中提取出水印信息，因为编码器在嵌入水印时已经考虑了解码器的需求。

Flow-Based Robust Watermarking with Invertible Noise Layer for Black-Box Distortions. AAAI, 2023.
可逆网络前向嵌入，后向提取。

SepMark: Deep Separable Watermarking for Unified Source Tracing and Deepfake Detection
鉴别器与编码器的交替训练，提高编码图像的质量。
SepMark包含两个解码器，即Tracer和Detector，同时使用实现源追踪和Deepfake检测。即首先使用Tracer解码器尝试提取水印，然后使用Detector解码器尝试提取水印。通过比较两个解码器提取的水印判断，具体如下：

EditGuard: Versatile Image Watermarking for Tamper Localization and Copyright Protection，CVPR，2024
与SepMark不同的是，特点在编码器部分，采用双重水印；
应用到隐写术的知识：①EditGuard将版权水印（1D信息）和定位水印（2D图像）嵌入到原始图像中，即在不显著改变媒体外观的情况下隐藏信息；②可逆块（Invertible Blocks）：在图像隐藏模块（IHM）和图像揭示模块（IRM）中，使用可逆块来精确地隐藏和揭示图像信息；③当容器图像（含有嵌入信息的图像）发生显著变化时，提取的秘密信息也会受损并产生伪影；伪影几乎只在容器图像发生变化的相应位置及其邻近区域产生强烈响应，这些特性使得EditGuard能够有效地定位篡改区域。

双重数字水印编码器依次将预定义的定位水印和版权水印wcop嵌入到原始图像Iori中，生成容器图像Icon。在网络传输过程中遇到潜在的恶意篡改和降级后，通过篡改定位器和版权提取器分别从接收图像Irec中提取被篡改的掩码( M )和版权信息( wcop )。

Case 1: 版权信息不匹配（ˆwcop ≠ wcop），图像可能没有在EditGuard系统中注册，或者图像经历了极端严重的全局篡改，导致版权信息无法被准确恢复。因此，这样的图像在法律或取证上可能不被视为可靠证据。
Case 2: 版权信息匹配但存在篡改区域（ˆwcop ≈ wcop 且 ˆM ≠ 0），图像虽然版权信息有效，但图像内容受到了篡改。
Case 3: 版权信息匹配且无篡改区域（ˆwcop ≈ wcop 且 ˆM ≈ 0），图像可以被认为是真实和可靠的，可以用于法律或取证目的。

训练以及应用过程如下：