【论文精读】From Fidelity to Perceptual Quality A Semi-Supervised Approach for Low-Light Image Enhancement

出处

2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)

论文贡献

1.首次尝试提出了一种用于微光图像增强的半监督学习框架，其中设计了一种深度递归带表示来连接全监督框架和非监督框架，以整合它们的优势——通过训练成对的数据集，获得较强的信号保真度约束以校正详细信号；通过训练高质量的图像数据集，获得较强的人类感知质量。
2.该框架被设计成能够提取一系列从粗到细的波段表示。通过端到端的递归训练，这些频带表示的估计是互惠的，能够去除噪声和校正细节。
3.在质量引导的对抗性学习的感知指导下，对深带表示进行重构。基于平均意见得分(MOS)感知地选择用于鉴别器的“真实图像”。

半监督微光增强的深递归带网络

该网络的整体架构如下图所示：

1.递归带学习

如图所示该部分建立了一个类似UNet的深度网络，由三个卷积层和三个反卷积层构成。将网络每次输出作为网络的下次迭代的输入，由公式$(1)$表示为：
$$[f_{s_1}^1,f_{s_2}^1,f_{s_3}^1]=F_{BLN\_F}^1(y),$$
$${\hat{x}}_{s_1}^1=F_{R\_s_1}^1(f_{s_1}^1),$$
$${\hat{x}}_{s_2}^1=F_{R\_s_2}^1(f_{s_2}^1)+F_U({\hat{x}}_{s_1}^1),$$
$${\hat{x}}_{s_3}^1=F_{R\_s_3}^1(f_{s_3}^1)+F_U({\hat{x}}_{s_2}^1)$$
其中$f_{s_1}^1,f_{s_2}^1,f_{s_3}^1$为每次卷积后得到的特征图像，${\hat{x}}_{s_1}^1,{\hat{x}}_{s_2}^1,{\hat{x}}_{s_3}^1$为每次反卷积后得到的特征图像。

在进行第$t$次迭代时，在先前估计结果的指导下，仅学习残差特征$\Delta f_{s_1}^t,\Delta f_{s_2}^t,\Delta f_{s_3}^t$，由公式$(2)$表示为：
$$[\Delta f_{s_1}^t,\Delta f_{s_2}^t,\Delta f_{s_3}^t]=F_{BLN\_F}^t(y,{\hat{x}}_{s_3}^{t-1}),$$
$$f_{s_i}^t=\Delta f_{s_i}^t+f_{s_i}^{t-1},i=1,2,3$$
$${\hat{x}}_{s_1}^t=F_{R\_s_1}^t(f_{s_1}^t),$$
$${\hat{x}}_{s_2}^t=F_{R\_s_2}^t(f_{s_2}^t)+F_U({\hat{x}}_{s_1}^t),$$
$${\hat{x}}_{s_3}^t=F_{R\_s_3}^t(f_{s_3}^t)+F_U({\hat{x}}_{s_2}^t)$$
该部分训练由重建损失$L_{Rect}$进行约束，其函数表达式为：
$$L_{Rect}=-(\varphi ({\hat{x}}_{s_3}^T,x)+{\lambda }_1\varphi ({\hat{x}}_{s_2}^T,F_D(x,s_2))+{\lambda }_2\varphi ({\hat{x}}_{s_1}^T,F_D(x,s_1)))\text{\hspace{1em}(3)}$$
其中$F_D$表示下采样过程，$s_i$表示下采样过程中的缩放因子，$\varphi$计算输入图像的SSIM值，${\lambda }_1$和${\lambda }_2$训练可得到的权重参数。

2.带重组

将第一个网络中，第$T$次迭代相邻反卷积过程得到的残差特征$(\Delta {\hat{x}}_{s_1}^T,\Delta {\hat{x}}_{s_2}^T,\Delta {\hat{x}}_{s_3}^T)$作为第二个网络的输入，由公式（4）表示为：
{ ω 1 , ω 2 , ω 3 } = F R C ( { Δ x ^ s 1 T , Δ x ^ s 2 T , Δ x ^ s 3 T } ) \{\omega_1,\omega_2,\omega_3\}=F_{RC}(\{\Delta\hat x_{s_1}^T,\Delta\hat x_{s_2}^T,\Delta\hat x_{s_3}^T\}) {ω1​,ω2​,ω3​}=FRC​({Δx^s1​T​,Δx^s2​T​,Δx^s3​T​})
$${\hat{x}}_3^F=\sum _{i=1}^3{\omega }_i\Delta {\hat{x}}_{s_i}^T,$$
$$\Delta {\hat{x}}_{s_i}^T={\hat{x}}_{s_i}^T-F_U({\hat{x}}_{s_{i-1}}^T),i=2,3$$
$$\Delta {\hat{x}}_{s_1}^T={\hat{x}}_{s_1}^T$$
其中输出图像${\hat{x}}_3^F$接受以下三项损失训练：
$$L_{Detail}=-\varphi ({\hat{x}}_3^F-x)\text{\hspace{1em}(5)}$$
$$L_{Percept}=||F_P({\hat{x}}_3^F)-F_P(x)|{|}_2^2\text{\hspace{1em}(6)}$$
$$L_{Quality}=-logD({\hat{x}}_3^F)\text{\hspace{1em}(7)}$$
其中$D$是衡量${\hat{x}}_3^F$符合人眼偏好概率的鉴别器，$F_P$是从预先训练的VGG网络中提取深层特征的过程。
该部分网络的整体损失为：
$$L_{SBR}=L_{Percept}+{\lambda }_3{L}_{Detail}+{\lambda }_4{L}_{Quality}\text{\hspace{1em}(9)}$$
其中${\lambda }_3$和${\lambda }_4$为权重参数。