【论文精读】GIA-Net: Global Information Aware Network for Low-light Imaging

出处

2020 ECCV

现有方法的不足

1.尽管基于UNet的微光图像增强方法显示出了令人振奋的结果，但由于缺乏全局颜色信息，UNet生成的图像具有诸如颜色不一致等伪影。
2.目前大多图像去噪和增强方法分开进行，耗费大量的时间和计算资源。

本文贡献

1.本文提出了一种全局信息感知(GIA)模块，该模块能够提取全局信息并将其集成到UNet中，以提高微光图像增强的性能。
2.提出结合全局信息，一次性完成微光图像增强工作。

全局信息感知（GIA）模块

该模块通过结合输入信息和由下采样过程提取的全局信息，从而达到全局信息感知的效果。示意图如下：

首先对输入的$X$进行下采样操作$f_1(\cdot )$以提取全局信息，再进行上采样操作$f_2(\cdot )$恢复输入尺寸，由对流层处理（缩小通道）后与$X$组合，最后再进行对流层处理得到含全局与局部信息的特征图像。

网络架构

如图所示，将GIA模块添加到UNet编码与解码部分之间。首先输入图像经过一些列下采样阶段提取抽象特征，同时降低空间分辨率，GIA模块负责提取全局信息，与输入特征图相结合，再经历一系列上采样过程得到结果。

损失函数

像素级约束

用$L_1$损失去计算真实图像与增强后图像每个像素间的差异。具体公式如下：
$$L_{L_1}=\frac{1}{N}\sum _{p=1}^N(I_p,{\hat{I}}_p)\text{\hspace{1em}(1)}$$
其中$p$表示像素的位置，$N$表示像素总数。

多尺度结构相似性损失MS-SSIM

MS-SSIM是SSIM在多尺度域上的扩展，其定义如下：
$$MS-SSIM=l_M^{\alpha }(i)\cdot \prod _{j=1}^{M}c{s}_j^{{\beta }_j}(i)\text{\hspace{1em}(2)}$$
其中$l(i)$和$cs(i)$分别是像素$i$处的对比度和结构差项的亮度和乘积，其定义如下：
$$l(i)=\frac{2{\mu }_x{\mu }_y+Cons{t}_1}{{\mu }_x^2+{\mu }_y^2+Cons{t}_1}\text{\hspace{1em}(3)}$$
$$cs(i)=\frac{2{\sigma }_{xy}+Cons{t}_2}{{\sigma }_x^2+{\sigma }_y^2+Cons{t}_2}\text{\hspace{1em}(4)}$$
其中$(x,y)$表示像素$i$的坐标，${\mu }_x,{\mu }_y,{\sigma }_x,{\sigma }_y,{\sigma }_{xy}$分别是$x$和$y$的均值，标准差，以及协方差。$M$是执行SSIM的级数，$j=1,2,...M$。$\alpha$和${\beta }_j$的值设置为1。$Cons{t}_1$和$Cons{t}_2$是较小的常量。
MS-SSIM是介于0和1之间的标量，越大越好。因此，用于优化网络的最终损失函数为:
$$L_{MS\text{–}SSIM}=1-MS\text{–}SSIM\text{\hspace{1em}(5)}$$

总的损失函数

$$L=\gamma L_{L_1}(I,\hat{I})+(1-\gamma )L_{MS\text{–}SSIM}(I,\hat{I})\text{\hspace{1em}(6)}$$