【论文精读】Color-wise Attention Network for Low-light Image Enhancement

摘要

在捕获图像时缺少附近的光源会降低捕获图像的可见度和质量，使计算机视觉任务变得困难。提出了一种基于卷积神经网络的颜色注意网络(CWAN)用于微光图像增强。CWAN在观看暗图像时受到人类视觉系统的激励，在微光图像和增强图像之间学习端到端映射，同时在微光图像中搜索任何有用的颜色线索，以帮助颜色增强过程。一旦识别出这些区域，CWAN的注意力将主要集中在合成这些局部区域以及全局图像上。在具有挑战性的数据集上进行的定量和定性实验表明，与最先进的方法相比，我们的方法具有优势。

贡献

1、提出了一种新的基于颜色的LLIE注意网络(CWAN)。CWAN与增强颜色分量分开地增强图像的亮度。通过这样做，我们简化了LLIE问题并达到了最先进的水平。
2、提出了一种利用颜色频率图训练$CWA{N}_{AB}$的有监督注意机制。根据图像中的颜色频率，选择暗图像中希望连续增强的关键局部颜色点。从本质上讲，学习这些选定的颜色是引起网络关注的一个很好的起点。

提出的方法

基于颜色的注意力模型通过LAB颜色空间将低光RGB图像分解为亮度和颜色分量。其动机是简化具有挑战性的LLIE过程，并允许颜色信息驱动$CWA{N}_{AB}$的注意力，而$CWA{N}_L$专注于同时增强图像亮度和去噪。亮度和颜色分量可以分别增强，它们的融合产生最终的增强图像。从概念上讲，分别增强这两个组件比同时执行两个任务更容易。

问题表述

给定一幅微光图像，其亮度图像$X_L\in R^{H\times W}$被传入${\text{CWAN}}_L$，颜色分量被传入${\text{CWAN}}_{AB}$。分别输出增强的亮度图像${\hat{X}}_L$和${\hat{X}}_{AB}$，以及两个中间输出颜色注意图$\hat{M}$和稀疏注意图$\hat{P}$。我们的目标是训练${\text{CWAN}}_L$，表示为${\mathcal{F}}_L({\text{X}}_L;{\theta }_L)$，从低亮度图像到增强亮度图像的映射。同样训练${\text{CWAN}}_{AB}$，表示为${\mathcal{F}}_{AB}({\text{X}}_{AB};{\theta }_{AB})$。因此，将LLIE问题表示为：
$${\theta }_L^{\ast }=\underset{{\theta }_L}{\mathrm{argmin}}{E}_{X_L,Y_L,{\mathcal{D}}_L}[{\mathcal{L}}_L({\mathcal{F}}_L),Y_L]\text{\hspace{1em}(1)}$$
$${\theta }_{AB}^{\ast }=\underset{{\theta }_{AB}}{\mathrm{argmin}}{E}_{X_{AB},Y_{AB},P,{\mathcal{D}}_{AB}}[{\mathcal{L}}_{AB}({\mathcal{F}}_{AB}),Y_{AB},P]\text{\hspace{1em}(2)}$$
其中$\mathcal{D}$表示训练数据集，$\mathcal{L}$表示损失函数，$Y_L$和$Y_{AB}$表示真实亮度和颜色分量，$P$是用于指导${\text{CWAN}}_{AB}$的真实图像关注点的稀疏集合。如上图所示，${\text{CWAN}}_{AB}$首先使用注意图生成器${\mathcal{F}}_M$估计注意图$\hat{M}$，从而帮助学习$\hat{P}$，然后对方程进行优化。在公式（2）之前，需要对${\mathcal{F}}_M$进行预训练生成$\hat{M}$，其公式如下：
$${\theta }_M^{\ast }=\underset{{\theta }_M}{\mathrm{argmin}}{E}_{X_{AB},M,{\mathcal{D}}_{AB}}[{\mathcal{L}}_M({\mathcal{F}}_M),M]\text{\hspace{1em}(3)}$$
其中$M$是真实注意图。注意图和关注点服务于不同目的，前者帮助识别与前景颜色相关联的局部区域，而后者指定局部区域内的稀疏点。

网络架构

WAN利用两个完全卷积网络(FCN)，使得两个FCN都由特征提取卷积层($f_{ext}$)、中间的几个卷积块和最终特征重构卷积层($f_{rec}$)组成。为了减轻训练难度，我们使用全局跳跃连接而不是直接映射来学习残差。所有块都具有相同数量的卷积层和ReLU层。这里，我们定义了两种类型的块，CWAN${}_L$中使用的存储块和CWAN${}_{AB}$中使用的前向块，如下所述。

CWAN${}_L$结构

CWAN${}_L$由一系列存储块组成。这些块取自[31]中的图像恢复工作，并成功地用于图像去噪、超分辨率和JPEG去块。我们建议读者参考[31]，以获得关于内存块的更详细的解释。通常，如图所示，存储器块利用块内的本地短跳过连接来表示短期存储器，以及从先前块发起的长跳过连接来表示长期存储器。短期和长期存储器帮助CWAN${}_L$实现存储器块内和存储器块之间的小的和大的亮度增强。

CWAN${}_{AB}$结构

在CWAN${}_L$中，所有的转换层都有相同数量和大小的滤光片，使长和短跳跃连接成为可能。相比之下，CWAN${}_{AB}$不使用短跳过连接和长跳过连接。相反，在每个块中，中间卷积层是具有1×1滤波器的非线性激活。这项技术已成功地应用于超分辨率。
该网络由两部分组成，第一部分${\mathcal{F}}_M$将$X_{AB}$作为输入以生成注意图$\hat{M}$；第二部分将$X_{AB}$和$\hat{M}$一起构成的四通道输入以增强颜色。第一部分的目标是在内部估计，在图像的兴趣点中具有高活跃度的$\hat{M}$，以便在第二部分的增强过程中引导局部区域。由于$X_{AB}$具有两个颜色通道，因此估计$\hat{M}$也是双通道注意图，并且注意力针对每个空间坐标上的每个通道。为了监督${\mathcal{F}}_M$学习，建议使用彩色频率图像来生成真实注意图$M$，如公式（3）中描述的那样。在CWAN${}_{AB}$的第二部分学习了从堆叠的$X_{AB}$和$\hat{M}$到增强型${\hat{X}}_{AB}$以及稀疏关注颜色的$\hat{P}$映射。真实关注点$P$是通过从$M$中选择一组非零的前景色点来生成的，$M$和$P$在颜色方面的注意力机制中扮演了重要的角色。

注意力图和关注点

上图中，(a)表示输入图像，(b)表示颜色频率图像$F$，© 表示注意力图$M$，(d)表示注意力点$P$.
频率图像表征与频率信息一起的空间分布。给定一个图像X，我们可以计算它的色频图像F，其中F等于图像X中RGB色X(x,y)出现的次数。
获取彩色频率图操作如下。首先，我们对F应用阈值$\tau$以消除特定的不需要的频率。例如，上图顶部图像中的白色背景在F中具有非常高的频率，而X的一些部分在F中具有非常低的频率，例如，噪声像素或玩具的眼睛。通过${\tau }_l$<F<${\tau }_u$分割F，我们强调了对前景颜色的关注，并消除了主色频率和次要噪声区域。这将产生所需颜色频率的二进制掩码，由$\overline{F}$：
$$\overline{F}(x,y)=\{\begin{array}{l}1,\text{if }{\tau }_l<F(x,y)<{\tau }_u\\ 0,\text{otherwise}\end{array}\text{\hspace{1em}(4)}$$
在计算$\overline{F}$之后，生成的真实颜色注意图$M(:,:,i)=X_{AB}(:,:,i)\odot \overline{F}$其中$\odot$是Hadamard乘积。我们对M进行线性归一化，使其在[0,1]范围内，通常M包含前景色。
在我们的注意机制中，$M$监督$\hat{M}$的学习，该学习输入到后续的网络中，并引导CWAN${}_{AB}$专注于增强粗略局部区域的前景颜色。另一方面，P指导像素级别的颜色增强，识别关键的前景颜色。由于M具有比P多得多的重复前景颜色，因此由P监督可以覆盖大多数颜色，但使用最少的、不重复的约束。

目标函数

为了训练CWAN${}_L$，我们使用L1Loss函数来处理合成增强型亮度${\hat{X}}_L$的回归问题。另一方面，训练CWAN${}_{AB}$分两个阶段进行。第一阶段训练颜色方向注意图生成器仅通过L1Loss预测$\hat{M}$：
$${\mathcal{L}}_M({\mathcal{F}}_M(X_{AB};{\theta }_M),M)=||\hat{M}-M|{|}_1\text{\hspace{1em}(5)}$$
二阶段端到端学习CWAN${}_{AB}$，包括微调预先训练的注意图生成器。建议使用以下损失函数：
$${\mathcal{L}}_{AB}({\mathcal{F}}_{AB}(X_{AB};{\theta }_{AB}),Y_{AB})={\mathcal{L}}_{\mathcal{H}}+\alpha {\mathcal{L}}_{MSE}\text{\hspace{1em}(6)}$$
这里$\alpha$是重量，${\mathcal{L}}_{\mathcal{H}}$是应用于${\hat{X}}_{AB}$的Huber损失。由于相对较高的色彩饱和度效应，Huber损耗在图像彩色化领域取得了巨大的成功，这使得它适合于增强微光图像。此外，我们选择Huber损失也是因为它是一个稳健的估计器，可以帮助避免平均问题。LMSE是应用于估计的关注点$\hat{P}$的均方误差损失，如下所示：
$${\mathcal{L}}_{\mathcal{H}}=\{\begin{array}{l}\frac{1}{2}({\hat{X}}_{AB}-Y_{AB}{)}^2,\text{if }|{\hat{X}}_{AB}-Y_{AB}|\le \delta \\ \delta |{\hat{X}}_{AB}-Y_{AB}|-\frac{1}{2}{\delta }^2,\text{otherwise}\end{array}\text{\hspace{1em}(7)}$$
$${\mathcal{L}}_{MSE}=\frac{1}{\beta }||(\hat{P}-P)\odot B_P|{|}_2^2\text{\hspace{1em}(8)}$$
其中$\beta$是胡伯损耗的参数，当CWAN${}_{AB}$输出$\hat{P}$中所有位置的颜色时，${\mathcal{L}}_{MSE}$损失仅采用$B_P$中随机采样颜色位置的重建颜色来计算。