Moran_DeepLPF_Deep_Local_Parametric_Filters_for_Image_Enhancement_CVPR_2020_paper

DeepLPF: Deep Local Parametric Filters for Image Enhancement（DeepLPF:图像增强的深度局部参数滤波器）

0 Abstract

目前最先进的自动增强方法侧重于学习像素或全局增强，像素增强可能存在噪声，缺乏解释性，全局增强可能无法捕捉细颗粒的调整。

本文提出一种方法，其使用椭圆滤波器、梯度滤波器和多项式滤波器三种不同类型的空间局部滤波器来自动增强图像。

引入深度局部参数滤波器（deep Local Parameter Filters，DeepLPF），并使用它对空间定位滤波器的参数进行回归，然后自动应用这些滤波器来增强图像，DeepLPF提供了一种自然形式的模型正则化，并允许可解释的、直观的调整来获得良好的视觉结果。

DeepLPF用于参数化局部图像增强

左图：估计滤波器的例子

右图：生成生成图像

顶部：使用单一椭圆滤波器调整图像红色通道

底部：使用单一梯度滤镜调整图像红色通道

1 Contribution

1、Local Parametric Filters：提出一种局域图像增强的参数滤波器自动估计方法，利用椭圆、渐变、多项式滤镜来实例化，

2、Multiple Filter Fusion Block：提出一种有原则的策略来融合多个学习参数饿图像滤波器，该即插即用神经块（plug-and-play neural block）能够融合多个独立参数滤波器输入，并提供一个灵活层，可以与公共网络骨干网集成，以增强图像质量。

3、State-Of-The-Art Image Enhancement Quality ：DeepLPF在两个具有挑战性的基准上提供最先进的图像质量增强。

2 Deep Local Parameter Filters（DeepLPF）

DeepLPF引入一种深度融合架构，其能够将学习到空间局部参数化图像滤波器的输出结合起来，该滤波器可以模拟人工滤波器的联合应用。

2.1 DeepLPF Architecture

学习和应用不同的参数滤波器集。

给定一个低质量的RGB输入图像I和对应的高质量增强目标图像Y，训练DeepLPF学习变化$f_{\theta }$使$\hat{Y}=f_{\theta }(I)$接近Y。

该模型结合用于细粒度增强的单流网络体系结构，以及用于更高级别、局部增强的双流体系结构。

首先使用一个标准的CNN主干（例如ResNet，UNet）来估计$H\times W\times C$维度的feature map，feature map的三个通道表示待调整的图像，剩余$C^{\prime }=C-3$通道表示额外的特征，这些特征将反馈三个滤波器参数预测块中。

第一个单流路径估计多项式滤波器（Polynomial filter）的参数，该filter随后应用于backbone增强图像${\hat{Y}}_1$输入图像的像素。这部分模拟画笔工具，使用画笔形状施加的平滑约束在像素级调整图像。通过多项式滤波器活得增强图像${\hat{Y}}_2$，与backbone feature骨干特征连接，并作为两个流路径的输入，使其学习和应用受限于椭圆和阶梯滤波器形式的局部增强。

利用两个平行回归块估计椭圆滤波器（Elliptical）和梯度滤波器（Graduated）的校正map，使用简单加法融合椭圆和梯度map，融合步骤结果是一个比列map $\hat{S}$，它的像素元素乘以${\hat{Y}}_2$得到${\hat{Y}}_3$有效应用了椭圆和渐变调整后的多项式增强图像。图像${\hat{Y}}_1$通过一长串残差连接到$\hat{Y}$。

2.2 Local Parameter Filters

三种局部滤波器的设计，并估计滤波器的参数预测块。

2.2.1Filter Parameter Prediction Network

本参数预测块是一个轻量级的CNN，它接受来自backbone的特征集，并分别回归滤波参数，网络块在一系列卷积层和最大池化层之间交替，这些层逐渐降低采样特征map的分辨率，在这些层之后是一个全局平均池化层和一个负责预滤波器参数的全连接层。

全局平均池化层确保网络对输入特征集的分辨率是不可知的，Leaky ReLUs和dropout（50%，包括训练和测试）作为激活功能，其应用于全连接层。

三种滤波器之间的唯一区别是最终全连接层中输出节点的数量。

该网络输出大小可以改变，以估计相同滤波器类型的多个实例参数。

学习参数化变换通常比直接预测增强图像更加有效爱和简单。

回归网络和backbone的具体实现无关，其允许使用图像滤波器来增强任何图像平移网络输出。

2.2.2 Graduated Filter

渐变滤波器通常用于照片编辑软件，其可以调整对比度平面区域的图像，

渐变滤波器的参数化和热力图

该渐变图像滤波器由三条平行线进行参数化，中心线定义了滤波器的位置和方向，形式为$y=mx+c$，偏移$o_1$和$o_2$提供了两个额外的参数，这样每个通道方向的调整map由四个不同的区域组成，形成了一个heatmap s(x,y)。

在100%区域内，所有像素乘以缩放参数$s_g$。

在100%-50%区域，应用比例因子从$s_g$线性减小到$\frac{s_g}{2}$

在50%-0%区域，缩放值进一步线性减小，直到达到像素未被调整的0%的区域。

分度滤波器：

$a(x,y)=s_{g}min\left\{\frac{1}{2}(1+\frac{\ell (x,y)}{d_2}),1\right\}$

$b(x,y)=s_{g}max\left\{\frac{1}{2}(1+\frac{\ell (x,y)}{d_1}),0\right\}$

$s(x,y)=\{\begin{array}{c}{\hat{g}}_{inv}a(x,y)+(1-{\hat{g}}_{inv})b(x,y),l(x,y)\ge 0\\ (1-{\hat{g}}_{inv})a(x,y)+{\hat{g}}_{inv}b(x,y),l(x,y)<0\end{array}$

$ℓ(x, y) = y − (mx + c) $是一个点（x，y）相对于中心线位置的函数，

$d_1=o_{1}cos\alpha ,$ $d_2=o_{2}cos\alpha$, $\alpha =ta{n}^{-1}(m)$, and ${\hat{g}}_{inv}$是一个二元指示变量。

参数${\hat{g}}_{inv}$允许对顶部和底部线进行反转，反转确定了100%缩放区域相对于中心线的位置，为了实现可学习的反转，预测一个二元指标参数${\hat{g}}_{inv}$= $\frac{1}{2}(sgn(g_{inv})+1)$，sgn表示符号函数，$g_{inv}$为实值预测参数，${\hat{g}}_{inv}$是二值化后的 g ^ i n v ∈ { 0 , 1 } \hat{g}_{inv}∈\left\{0,1\right\} g^​inv​∈{0,1}版本。符号函数的梯度在任何地方都是零并且在零处没有意义。在逆向传播时使用直接估计器来学习这个二元变量。

2.2.3 Elliptical Filter

定义一个由中心为（h，k），半长轴（a）、短半轴（b）和旋转角度（θ）参数化的椭圆。

学习到的比例因子$s_e$在椭圆中心（100%）处最大，并线性减小直到边界，在椭圆外（0%）没有像素调整。

椭圆滤波器的通道热力图：

$s(x,y)=s_{e}min(0,1-\frac{[(x-h)cos\theta +(y-k)sin\theta {]}^2}{a^2}+\frac{[(x-h)sin\theta -(y-k)cos\theta {]}^2}{b^2})$

椭圆滤镜通常用于增强、强调照片中的物体或特定兴趣区域。

2.2.4 Polynomial Filter

多项式滤波器能够对整个图像提供细粒度、正则化的调整，其模拟笔刷工具，在结合空间平滑的同时提供广泛几何形状，

$ i·(x + y + γ)^p$和$ (x + y + i + γ)^p$的p阶多项式滤波器，其中$i$时像素位置（x，y）的图像通道强度，$γ$是一个独立标量。

通过经验主义，本实验使用p=3（三次多项式）来对图像进行调整，但只有有限的一组参数，研究了cubic-10和cubic-20两种立方滤波器。

cubic-10包含一组10个参数 { A ， B ， C … … ， J } \left\{A，B，C……，J\right\} {A，B，C……，J}，定义立方函数f，其将$i$映射到一个新的调整后的强度$I^{\prime }$。

$i\prime (x,y)=f(x,y,i)$
$=i\ast (A{x}^3+B{x}^{2}y+C{x}^2+D+Dx{y}^2+Exy+Fx+G{y}^3+H{y}^2+Iy+J)$

cubic-20包含一组20个参数 { A ， B ， C … … ， T } \left\{A，B，C……，T\right\} {A，B，C……，T}

$i\prime (x,y)=f(x,y,i)$
$= Ax^3 + Bx^2y + Cx^2i + Dx^2 + Exy^2+F xyi + Gxy + Hxi^2 + Ixi + $

$Jx+Ky^3 + Ly^2i +My^2 +Nyi^2 +Oyi+Py + Qi^3 + Ri^2 + Si + T $

立方滤波器考虑了空间和强度信息，同时将学到的映射的复杂性限制为正则性，提高了学习精度，确保了转换局部平滑。

为每个颜色通道估计一个独立的三次函数，于是cubic-10有30个参数，cubic-20有60个参数。

2.3 Fusing Multiple Filters of the Same Type

多个滤波器融合情况：

梯度和椭圆预测块能分别为他们各自滤波器类型的n个实例输出参数值。

在$n>1$时，多个实例通过元素乘法组合成一个调整映射。

$s_g(x,y)={\prod }_{i=1}^n{s}_{gi}(x,y)$

$ s_e(x, y) = \prod_{i=1}^n s_{ei}(x, y)$

$s_{gi}(x, y) $和$s_{ei}(x, y) $分别是$i^{th}$实例对应的梯度滤波器和椭圆滤波器的调整map。

单通道立方滤波器在表达能力方面具高灵活性，因此不将多个立方滤波器融合在一起。

2.4. DeepLPF Loss Function

多个滤波器融合时的训练损失函数

DeepLPF训练损失利用CIELab颜色空间来计算Lab通道上的$L_1$损耗和$L$通道上的MS-SSIM损耗，通过将色度和亮度信息拆分为单独的损耗项，在训练过程中，本模型能够分别关注局部图像增强（MS-SSIM）和全局图像增强（$L_1$）。

给定N对图像${\left\{(Y_i,{\hat{Y}}_i)\right\}}_{i=1}^N$

$Y_i$是参考图像，${\hat{Y}}_i$是预测图像，

DeepLPF训练损失函数：

$L={\sum }_{i=1}^N{\omega }_{lab}||Lab({\hat{Y}}_i)-Lab(Y_i)|{|}_1+{\omega }_{ms-ssim}MS-SSIM(L({\hat{Y}}_i),L(Y_i))$

Lab(·)函数可以返回与输入图像RGB通道相对应的CIELab Lab通道。

L(·)返回图像在CIELab颜色空间中的L通道。

MS-SSIM是多尺度结构相似度，${\omega }_{lab}$$，{\omega }_{ms-ssim}$是加权损失函数中各项相对影响的超参数。

3 Conclusion

使用梯度、椭圆、多项式滤波器估计图像编码序列，这些滤波器的参数可以直接从backbone网络(如U-Net)提供的卷积特征回归。

局部过滤器能产生可解释的图像调整，且图像视觉感出色。

过滤器构成可插入和可重用的网络块，能够改善图像视觉质量。

未来工作：进一步探索自动估计滤波器应用的最优序列，将本局部滤波器与其他局部或全局滤波器类型、分割蒙版相结合，对语义相关的像素进行改进，可获得可解释、省钱的自动图像增强。