图像处理中的对抗性研究：浅谈水印去除技术

不论是在社交媒体平台还是各类工作学习资料，大大小小的图像和文件水印是我们习以为常的附赠产物，在图像上叠加可见水印为解决版权问题提供了一种强有力的手段，它被用于在互联网共享时标识和保护图像版权。

随着AIGC内容快速且大批量的产生，可见水印同样在其从传播过程中发挥着重要的作用。

而基于技术发展相辅相成的规律，自水印出现之后，水印去除技术也进入图像处理领域研究者的视野，以对抗性的方式加强可见水印的鲁棒性。直至现在，研究如何有效移除水印为发明更强大的图像水印技术提供了线索，近年来已经吸引了越来越多的研究兴趣。

水印去除技术发展

技术沿革

从早期图像处理技术到深度学习时代，图像去水印技术的发展可以大致分为以下几个阶段：

1. 早期方法：基于像素操作的去水印

手动替换与填补法：早期的去水印技术多基于图像编辑工具，例如Photoshop，通过人工操作或半自动的方式替换、填补水印所在区域。这些方法通常依赖于用户对图像进行精细处理，但效果不佳，且易产生视觉上的瑕疵。

邻域均值滤波：通过使用滤波器以像素的邻域均值进行替换，能够在一定程度上抹除水印、平滑图像，但易造成图像模糊化和细节丢失。

2. 基于频域的去水印方法

傅里叶变换与小波变换：这些方法通过将图像从空间域转换到频域，对水印进行分离和去除。由于水印通常是频域中的高频成分，这类方法可以通过抑制高频成分来实现去水印效果。然而，这类方法对水印的形状、位置和大小敏感，去除效果较为有限。

SVD（奇异值分解）：基于SVD的去水印技术通过分解图像矩阵，尝试在保持图像主要信息的同时去除水印部分。此类方法对于噪声抗性较好，但处理复杂图像时会遇到一定挑战。

3. 基于图像修复的去水印方法

图像修复技术（Inpainting）：此阶段的发展引入了图像修复技术，利用图像的邻域信息填补被水印遮盖的区域。常用的算法包括基于偏微分方程（PDE）的方法和纹理合成方法。这类方法可以在一定程度上恢复被水印遮挡的背景区域，但在处理复杂图像或透明水印时效果有限。

4. 基于模型的方法

模型去水印技术：使用模型分析图像中的纹理和结构，并尝试重建原始图像。

5. 机器学习的方法

早期学习技术：机器学习技术催生了早期的基于学习的方法，这些方法通过训练数据集来学习水印的特征，并尝试识别和去除图像水印，例如使用支持向量机（SVM）进行图像分类。

6. 深度学习时代的去水印技术

卷积神经网络（CNN）与生成对抗网络（GAN）：随着深度学习的发展，基于CNN和GAN的去水印技术逐渐成为主流。CNN可以学习图像中水印的特征，并将其从背景中分离；GAN则通过生成模型与判别模型的对抗训练，能够更好地去除复杂水印并恢复图像细节。

多任务学习：一些研究开始探索将去水印任务与其他图像处理任务结合，如图像去噪、超分辨率等，通过共享网络权重来提高去水印效果。

技术背景

水印去除的目标是基于带水印的图像重建背景图像，这是一个开放且具有挑战性的问题。水印能够以不同的大小、形状、颜色和透明度叠加在背景图像的任何位置。此外，水印通常包含复杂的图案，如扭曲的符号、细线、阴影效果等，导致水印去除任务变得极其困难。下图展示了一个水印、无水印图像和带水印图像的示例。

在本质上，水印移除类似于几种内容移除任务，如去阴影、去雨滴和去雾等。然而，阴影通常呈现为黑色，雨滴则表现出重复的模式和形状，而水印色彩丰富、具有多样的形状和模式。这些差异使水印移除成为内容移除任务中独特且困难的案例。

面对带水印图像，早期学习技术的自然方案是对带水印的图像执行逆分解，预测正确的原图，这是一项耗时且并不简单的任务。在一些方法中，需要用户指明水印区域的位置，对于少量图片，这种模式是可以被接受的，但对于批量性工作，无疑会消耗大量精力成本。

大规模数据集LVW的发布推动了使用深度学习技术解决这一任务的热潮。一些研究工作将水印移除视为图像到图像的转换任务，并使用生成对抗网络直接将带水印的图像映射到无水印的图像，与早期方法相较，能够取得较好的效果。然而，水印的大小、形状、颜色和透明度的不确定性为这些方法设置了一个巨大的障碍，使它们仍然在精确和完整地定位水印以及恢复无水印图像方面存在困难。尤其是当水印具有复杂图案、多样的颜色或孤立的片段时，不准确的水印掩模会干扰背景图像的重建。

水印去除技术方案

为了应对上述挑战，当前效果较优的技术方案通过设计两阶段的多任务网络来改善图像去水印效果。第一个阶段主要负责从整个带水印的图像预测大致的分解结果，第二阶段专门集中在水印覆盖区域，细化提升纹理质量。

任务目标是将带水印的图像转换为相应的无水印图像，其中隐含两个步骤：

1) 检测水印区域的大致区域；

2) 详细的像素级水印区域去噪。

步骤一负责完成定位水印和恢复背景图像工作，输出初步结果，但可能存在一些质量问题，如模糊、伪影和结构扭曲，需要进一步改进。因此，步骤二进行了细化工作，输出图像是最终恢复的背景图像。

普遍而言，包括初步阶段和细化阶段的整个网络可以以端到端的方式进行训练。

对水印去除的研究以对抗性方式推动水印技术的不断发展进步，促使研究者开发出更加复杂和难以移除的水印，增强数字媒体的保护机制。在一些特殊情况下，去水印技术可以用来验证图像或视频内容的完整性，确保内容在传播过程中未被篡改或添加未授权的水印。

本期，我们探讨了图像处理中的水印去除技术，如果你在图像处理方面有感兴趣的Topic或技术心得，欢迎给我们留言，随时与我们技术团队的小伙伴交流！

参考文献

[1] Marcelo Bertalmio, Guillermo Sapiro, Vicent Caselles, and Coloma Ballester. Image inpainting. In Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques, SIGGRAPH, pages 417–424, 2000.

[2] G. W. Braudaway, K. A. Magerlein, and F. C. Mintzer. Protecting publicly available images with a visible image watermark. In Electronic Imaging: Science & Technology, 1996.

[3] Zhiyi Cao, Shaozhang Niu, Jiwei Zhang, and Xinyi Wang. Generative adversarial networks model for visible watermark removal. IET Image Processing, 13(10):1783–1789, 2019.

[4] Danni Cheng, Xiang Li, and Wei-Shi Zheng. Large-scale visible watermark detection and removal with deep convolutional networks. In Pattern Recognition and Computer Vision, PRCV, pages 27–40, 2018.

[5] Donghyeon Cho, Yu-Wing Tai, and In-So Kweon. Natural image matting using deep convolutional neural networks. In Computer Vision - ECCV 2016, volume 9906 of Lecture Notes in Computer Science, pages 626–643, 2016.

[6] Xiaodong Cun, Chi-Man Pun, and Cheng Shi. Towards ghost-free shadow removal via dual hierarchical aggregation network and shadow matting GAN. In The ThirtyFourth AAAI Conference on Artificial Intelligence, AAAI 2020, pages 10680–10687, 2020.

[7] Tali Dekel, Michael Rubinstein, Ce Liu, and William T. Freeman. On the effectiveness of visible watermarks. In 2017 IEEE Conference on Computer Vision and Pattern Recognition, CVPR, pages 6864–6872, 2017.

[8] Ian J. Goodfellow, Jean Pouget-Abadie, and Yoshua Bengio. Generative adversarial nets. In Neural Information Processing Systems, NIPS, pages 2672–2680, 2014.

[9] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In 2016 IEEE Conference on Computer Vision and Pattern Recognition, CVPR, pages 770–778, 2016.

[10] Sepp Hochreiter and Jurgen Schmidhuber. Long short-term memory. Neural Comput., 9(8):1735–1780, 1997.

[11] Chun-Hsiang Huang and Ja-Ling Wu. Attacking visible watermarking schemes. IEEE Trans. Multimedia, pages 16–30, 2004.

[12] Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, and Alexei A. Efros. Image-to-image translation with conditional adversarial networks. In 2017 IEEE Conference on Computer Vision and Pattern Recognition, CVPR, pages 5967–5976, 2017.

[13] Justin Johnson, Alexandre Alahi, and Li Fei-Fei. Perceptual losses for real-time style transfer and super-resolution. In Computer Vision - ECCV 2016, pages 694–711, 2016.

[14] Tero Karras, Timo Aila, Samuli Laine, and Jaakko Lehtinen. Progressive growing of gans for improved quality, stability, and variation. In International Conference on Learning Representations, 2018.

[15] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In 3rd International Conference on Learning Representations, ICLR 2015, 2015.

[16] Xiang Li, Chan Lu, and Wei-Shi Zheng. Towards photorealistic visible watermark removal with conditional generative adversarial networks. In Image and Graphics - 10th International Conference, ICIG 2019, pages 345–356, 2019.

[17] Si Liu, Jiashi Feng, Csaba Domokos, Hui Xu, Junshi Huang, Zhenzhen Hu, and Shuicheng Yan. Fashion parsing with weak color-category labels. IEEE Trans. Multimedia, pages 253–265, 2014.

[18] Mehdi Mirza and Simon Osindero. Conditional generative adversarial nets. CoRR, abs/1411.1784, 2014.

[19] Adam Paszke, Sam Gross, and Soumith Chintala. Pytorch: An imperative style, high-performance deep learning library. In Advances in Neural Information Processing Systems, pages 8024–8035, 2019.

[20] Soo-Chang Pei and Yi-Chong Zeng. A novel image recovery algorithm for visible watermarked images. IEEE Trans. Information Forensics and Security, pages 543–550, 2006.

[21] Rui Qian, Robby T. Tan, and Jiaying Liu. Attentive generative adversarial network for raindrop removal from a single image. In IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2018, pages 2482–2491, 2018.

[22] Chuan Qin, Zhihong He, and Liping Gao. Visible watermark removal scheme based on reversible data hiding and image inpainting. Signal Process. Image Commun., pages 160–172, 2018.

[23] Olaf Ronneberger, Philipp Fischer, and Thomas Brox. U-net: Convolutional networks for biomedical image segmentation. In Medical Image Computing and Computer-Assisted Intervention - MICCAI 2015, pages 234–241, 2015.

[24] Hector Santoyo-Garcia, Eduardo Fragoso-Navarro, and Hector Perez-Meana. An automatic visible watermark detection method using total variation. In 5th International Workshop on Biometrics and Forensics, IWBF 2017, pages 1–5, 2017.

[25] Karen Simonyan and Andrew Zisserman. Very deep convolutional networks for large-scale image recognition. In 3rd International Conference on Learning Representations, ICLR 2015, 2015.

[26] Alexander Vezhnevets, Vittorio Ferrari, and Joachim M. Buhmann. Weakly supervised structured output learning for semantic segmentation. In 2012 IEEE Conference on Computer Vision and Pattern Recognition, pages 845–852, 2012.

[27] Zhou Wang, Alan C. Bovik, and Eero P. Simoncelli. Image quality assessment: from error visibility to structural similarity. IEEE Trans. Image Processing, pages 600–612, 2004.

[28] Chaoran Xu, Yao Lu, and Yuanpin Zhou. An automatic visible watermark removal technique using image inpainting algorithms. In 4th International Conference on Systems and Informatics, ICSAI 2017, pages 1152–1157, 2017.

[29] Yang Liu, Zhen Zhu, and Xiang Bai. 2021. WDNet: Watermark-Decomposition Network for Visible Watermark Removal. In Proceedings of the IEEE Winter Conference on Applications of Computer Vision. 3685–3693.