本文分享论文Perceptive self-supervised learning network for noisy image watermark removal，由西工大&广西师大&港中文联合提出一种基于感知自监督学习网络的噪声图像去水印方法。

  • 作者：田春伟，郑梦华，李波，张艳宁，张师超，张大鹏
  • 单位：西北工业大学、空天地海一体化大数据应用技术国家工程实验室、广西师范大学、香港中文大学
  • 原文链接：https://arxiv.org/abs/2403.02211
  • 代码链接：https://github.com/hellloxiaotian/PSLNet

01摘要

现有方法通常使用有监督方式来训练图像去水印模型。然而，在现实世界中难以获得参考图像以及相机拍摄图像过程中会受到噪声的影响。

为了克服这些缺点，本文中提出了一种基于感知自监督学习网络的噪声图像去水印方法（Perceptive Self-supervised Learning Network for Noisy Image Watermark Removal，PSLNet）。PSLNet依赖于一个并行网络完成图像去除噪声和水印。

其中，上网络使用任务分解的思想依次去除噪声和水印。下网络利用退化模型的思想同时去除噪声和水印。两个网络能提取互补信息，完成噪声图像的去水印。具体为，配对的水印图像是通过自监督的方式获得的，而配对的噪声图像是通过监督的方式获得的。为了增强获得图像的清晰度，通过交互两个子网络和融合获得的清晰图像进一步提取结构信息和增强像素，提升图像水印去除的效果。

此外，考虑到纹理信息，使用混合损失来增强噪声图像水印去除的鲁棒模型。与现有的卷积神经网络相比，提出的PSLNet在噪声图像水印去除方面非常有效。

PSLNet代码可以在https://github.com/hellloxiaotian/PSLNet获取。

主要贡献：

  1. 使用自监督思路来解决非参考图像的图像水印去除问题。
  2. 利用分解和退化模型的思想，同时处理带有噪声和水印的图像复原任务。
  3. 设计了融合机制增强结构信息和增强像素，进一步提升噪声图像水印去除的视觉效果。
  4. 设计结构和纹理混合损失来提高噪声图像水印去除的性能。

02 方法

PSLNet网络结构如图1所示：

PSLNet_监督学习

图1 PSLNet网络结构图

03 实验

本文提出的方法在本文提出的数据集上超过了很多流行的方法，如：DRD-Net、EAFNWDD和FastDerainNet等。更多的结果如表1-表8所示：

表1 不同方法复原透明度为0.3，噪声等级分别为0、15、25和50的噪声水印图像的PSNR、SSIM和LPIPS结果

PSLNet_监督学习_02

表2 不同方法复原透明度为0.3、0.5、0.7和1.0，噪声等级分别为25的噪声水印图像的PSNR、SSIM和LPIPS结果

PSLNet_人工智能_03

表3 不同方法复原透明度为0.3，噪声等级分别为0、15、25和50（盲噪声训练）的噪声水印图像的PSNR、SSIM和LPIPS结果

PSLNet_sed_04

表4 不同方法复原透明度为0.3（盲水印训练），噪声等级分别为0、15、25和50（盲噪声训练）的噪声水印图像的PSNR、SSIM和LPIPS结果

PSLNet_sed_05

表5 不同方法复原透明度为0.5、0.7和1.0（盲水印训练），噪声等级为25（盲噪声训练）的噪声水印图像的PSNR、SSIM和LPIPS结果

PSLNet_人工智能_06

表6 不同方法复原透明度为0，噪声等级为15、25和50（盲噪声训练）的噪声图像的PSNR、SSIM和LPIPS结果

PSLNet_人工智能_07

表7 不同方法复原透明度为0.3、0.5、0.7和1.0（盲水印图像训练），噪声等级为0的水印图像的PSNR、SSIM和LPIPS结果     

PSLNet_人工智能_08

表8 不同图像去水印方法的复杂度 

PSLNet_人工智能_09

此外，本文也制作了2组可视化结果从定性分析角度来验证本文提出方法的有效性，如图2和图3所示：

PSLNet_github_10

图2 不同方法的可视化结果（噪声等级为25，水印透明度为0.3）：(a)原图 (b)噪声水印图像(20.02 dB) (c) DnCNN(28.50 dB) (d) DRDNet(27.03 dB) (e) FastDerainNet (26.32 dB) (f) FFDNet(26.98 dB) (g) IRCNN(27.39 dB) (h) PSLNet(29.72 dB)

PSLNet_github_11

图3 不同方法的可视化结果（噪声等级为15，水印透明度为0.3）：(a)原图 (b)噪声水印图像(24.42 dB) (c) DnCNN (34.15 dB) (d) DRDNet (27.46 dB) (e) FastDerainNet (31.88 dB) (f) FFDNet (32.67 dB) (g) IRCNN (32.96 dB) (h) PSLNet (35.19 dB)

04 结论

本文提出了一种基于感知自监督学习网络的噪声图像去水印方法。该方法依赖于一个并行网络，并根据任务分解的解决方案思路，去除噪声和水印。其中，上网络根据任务分解的思想，逐步去除噪声和水印。下网络根据退化模型的思想，同时去除噪声和水印。

为了解决获取参考图像困难的问题，采用自监督学习方法根据给定的水印图像获取参考图像。为了获得更清晰的图像，两个子网络及其获得的图像分别被融合，以增强结构信息和像素。此外，通过感知思想和像素关系，设计了混合损失，以提取更多的纹理信息。

广泛的实验结果表明，提出的感知自监督学习网络方法对噪声图像水印去除非常有效。