隐私保护图像复原|PIRNet: Privacy-Preserving Image Restoration Network via Wavelet Lifting

来源ICCV2023

领域：【保护隐私的图像修复Privacy-preserving Image Restoration】

提出问题：云环境中隐私泄露问题日益严重，因此提出了许多图像加密技术，但是加密后的图像与自然图像大相径庭，容易引起攻击。

解决问题：基于小波提升的隐私保护图像复原网络PIRNet可以在隐写术领域进行隐私保护图像复原。在整个图像复原过程中，秘密图像始终处于隐藏状态（不泄露原图像的情况下），用户隐私得到了极大保护。

贡献：

1.PIRNet 在各种保护隐私的图像复原任务（包括图像去噪、去模糊和超分辨率）上都优于现有方法。

2.揭示了隐写图像质量变化与恢复后的秘密图像之间的相关性。

3.本文是第一个在隐写术领域探索隐私保护图像复原的工作。

拟提出的云图像隐私保护恢复方法示意图：

本文方法：

首先提出一个发现：隐写图像的质量变化会敏感地影响到恢复的秘密图像的质量，而且具有良好的一致性。因此，通过对隐写图像的处理，可以在很好地保护隐私的情况下还原秘密图像。

为了验证这个发现，做了两个实验：

实验1：应用三种图像去噪网络移除隐写图像中的噪声，然后用PSNR和SSIM衡量隐写图像和恢复秘密图像的质量。     

结果如图：隐写图像质量越高，恢复的秘密图像质量也就越高。这表明对隐写图像的处理会敏感的影响恢复秘密图像的质量。

实验2：加不同程度的高斯噪声（5,10,15）来降低隐写图像的质量。如（c）和（d）。

结果如图：可见随着噪声水平的提高，隐写图像质量下降，恢复的秘密图像的质量也相应变差。

综上结果说明：对隐写图像的处理对秘密图像的影响是一致的。

这些发现启发了本文的网络设计思想：隐写图像是进行隐私保护图像复原的一个很好的域；可逆网络在将隐写域和恢复域紧密联系方面发挥了重要作用，并得益于可逆网络的稳定可逆性，隐写域可以对恢复域产生稳定一致的影响，从而为隐私保护图像复原带来显著的好处。

框架：PIRNet由基于提升的可逆隐藏网络（LIH）和基于提升的安全还原网络（LSR）组成。

LIH网络完成秘密图像隐藏操作生成隐写图像，并输入到LSR网络中，LSR网络在不泄露秘密图像的情况下对隐写图像进行操作。最后经LSR处理后的隐写图像被送回LIH网络，以恢复高质量(HQ)秘密图像。

下面是各模块的详细介绍：

LIH:可以同时隐藏三种不同类型的降级图像（包括噪声，模糊和低分辨率伪影）

输入：退化的和，首先被DWT分解成小波子带和;然后，小波子带被送入多个小波提升块（WL）,生成隐写子带和辅助信息R（包含前向隐藏过程中丢失的信息，这对保持LIH的可逆性非常重要）。在后向恢复过程中，由于R不可用，采用辅助变量Z并假设其与R具有相同的高斯分布。然后经过处理的小波子带和随机取样的Z被送回LIH网络，用来恢复秘密图像。

小波提升块WL：LIH的基本单元，利用双流网络结构实现前向隐藏和后向恢复，共享参数。LIH中共有M=24个WL块。对于前向隐藏的第i个块：P和U分别表示预测和更新操作,可以是任何函数，本文采用残差网络来表示。

 对于后向恢复的第i个块：

 在最后一个WL块之后，可以得到秘密子带Xsr=Z1.然后通过反变换将其变换回图像。

这里插入一个分析：为什么用WL？：本文的工作重点是退化图像的修复，其关键是恢复高频细节。小波提升可以自然的分割高低频细节，给图像复原任务带来好处。

基于提升的安全还原网络LSR:用于执行不同类型的秘密图像还原，包括去噪、去模糊和超分辨率等。需要注意的是，在LSR中，所有的还原操作都是在隐写图像上进行的。因此在LSR中秘密图像不会被泄露。LSR是根据小波提升的多尺度特性设计的，由K个基于小波提升的安全恢复子网组成，用于更新低频和高频小波子带，并由一个安全恢复块SRM对高频子带执行还原操作。

LSR的输入是由LIH生成的。首先经过逆小波变换使其变回图像，然后使用DWT将图

像分解为新的低频和高频子带。（图中未展示）低频和高频子带被送入第一子网，经过几个

WL块之后，可以得到更新后的低频子带L1和高频子带H1。然后在H1上应用SRM模

块，生成恢复的高频子带H1'.

对于低频子带L1，进一步通过DWT将其分割，并将新的子带发送到下一个子网。最后经过

K次缩放，我们可以得到LK和HK。HK经过SRM处理后生成HK‘，LK保持不变。

为了与 LIH 网络保持一致，LSR 网络也有两个逆过程。前向过程和后向过程中的 WL 块共

享相同的网络参数。后向过程以HK‘，LK为输入，从K级开始，在后向结束时，我们可以得

到隐写图像的恢复小波子带，然后将其发送给LIH网络以恢复HQ秘密图像。

安全恢复模块SRM ：为了处理不同类型的降级，建议将SRM设计为多任务学习框架，如图：

具体来说，SRM由一个编码器和多个解码器组成，分别用于不同的修复任务。所有恢复任务

共用一个编码器，可以提高泛化能力，节省计算资源。在解码方面考虑到不同的修复任务有

不同的修复难度，因此将解码架构与任务难度相关联，形成一个单元化的分层解码架构。从

上图中可以看出有三个不同的任务，包括图像去噪、去模糊和超分辨率（SR）。SR 任

务是最难的任务，其次是去模糊和去噪。因此，我们在 SR 和去模糊任务的共享编码器上扩

展了额外的中间块，然后将它们连接到特定任务的解码器上。在这里，所有任务的解码器设

计都是一样的。编码器和解码器都采用 U-Net 结构，采用 NAFBlock 作为构建编码器、解码器和中间块的基本模块，因其简单且性能良好。

这里插入一个分析：为什么只在隐写图像的高频子带上应用SRM，原因有两个：首先在LIH中，秘密图像的大部分信息都隐藏在隐写图像的高频子带中，由于最终的目的是还原秘密图像，因此最好对高频子带进行处理。其次，图像降解过程会丢失高频信息，因此在高频子带上应用SRM可以帮

助更好的恢复丢失的图像细节。

训练策略：第一阶段使用hiding损失（隐写&载体损失+秘密&恢复损失+低频小波损失）训练LIH网络，然后，冻结LIH，通过安全恢复损失训练LSR网络，最后端到端的方式对整个网络进行微调。

安全恢复损失用于训练LSR网络，目标是是恢复后的HQ秘密图像接近真实值Ground Truth，同时确保处理后的与尽可能相似。由于LSR网络具有多任务结构，损失描述为：

三个小写分别代表去噪、去模糊和超分辨率任务的损失，可以统一定义为：

stego损失定义为与之间的相似性：

数据集：采用了 DIV2K 数据集，其中 800 幅图像用于训练，100 幅图像用于测试。图像复原任务包括典型的图像去噪、图像去模糊和图像超分辨率。

评价指标：PSNR SSIM LPIPS