Xu_Learning_to_Restore_Low-Light_Images_via_Decomposition-and-Enhancement_CVPR_2020_paper

最新推荐文章于 2023-07-19 18:27:49 发布

SaintSunLsz

最新推荐文章于 2023-07-19 18:27:49 发布

阅读量1.4k

点赞数 2

文章标签：计算机视觉深度学习图像处理

本文链接：https://blog.csdn.net/weixin_44622686/article/details/123339355

版权

文章目录

Learning to Restore Low-Light Images via Decomposition-and-Enhancement（学习通过分解和增强恢复弱光图像)

Learning to Restore Low-Light Images via Decomposition-and-Enhancement（学习通过分解和增强恢复弱光图像)

0 Abstract

低光照图像缺点:(1)可见性低，像素值小。(2)低信噪比，噪声多干扰图像内容。

大多数低光照图像增强方法都是从低噪声数据集中学习获得的。

发现：噪声在不同频率层表现出不同程度的对比度，在低频层比在高频层更容易检测到噪声。

提出一种基于频率的图像增强分解模型，首先该网络学习恢复低频层图像对象，然后基于恢复后的图像对象增强高频细节。

提供一个新的带有真实噪声的低光照数据集。

1 Contribution

(1)提供一种新的基于频率的分解增强模型来增强微光图像，首先抑制噪声并恢复低频层的图像内容，然后恢复高频层的图像细节。

(2)包含注意上下文编码（ACE）模型来分解输入图像，自适增强高频层和低频层，使用一个跨域变换（CDT）模块来抑制噪声和细节增强。

(3)提供一个带有真实噪声的弱光图像数据集和相应ground truth 图像。

2 Proposed Model

观察结果：

(1)低频层的噪声更容易检测和抑制，所以对有噪声的低光照图像进行低频层增强比直接对整个图像进行增强更容易，通过分析图像低频层的全局属性，可以正确地估计图像的照明和颜色。

(2)已知自然图像的原始部分（边缘和角落）具有非常地的本征维度（intrinsic dimensionality），低维数意味着少量的图像样本就足以表示图像原语，通过给定基元的低频信息，就可以推断出高频信息。

基于观察结果，提出模型，其具有两个阶段。
在这里插入图片描述

第一阶段：低频图像增强函数C(·)，然后学习一个放大函数A(·)进行颜色恢复，建立从C(·)到A(·)的映射模型，网络不需要同时学习全局信息（照明）和局部信息（颜色），从而获得更有效的增强结果。

给定低光照sRGB图像 I ，第一阶段形式公式：

$I^a = αA(C(I)) · C(I)$

$I^a$ 是放大的低频层，A不同于基于视网膜方法的光照图映射，从增强内容C估计出相对放大映射到可学习全局比α（αA(·)就是自注意方式增强C的误差映射）

（A is different from the illumination map in retinex-based methods, as we estimate a relative amplification map to a learnable global ratio α from the enhanced content C.）

第二阶段：从第一阶段 $I^a$ 中学习高频细节增强函数D(·)，而不是直接从原始输入图像 $I$ 中恢复有噪声的高频细节，然后对D(·)进行残差建模，最终获得增强图像为：

$I^c = I^a · D(I^a)$
在这里插入图片描述

该模型使用了注意上下文编码（ACE）模块和跨域转换（CDT）模型。

2.1 ACE Module

ACE模块的目标：学习用于图像分解的频率感知特征，最初提出用于编码远程关系的非局域运算扩展为频率自适应上下文信息。
在这里插入图片描述

将图像分解为基于频率的层

输入 $X_{in} ∈ R^{H×W×C}$ ，使用两组扩张卷积（一组卷积大小为1，扩张率为1；一组卷积大小为3，扩张率为2），分别记作 $f_{d1}$ ， $f_{d2}$ ，用于提取不同接受域，然后计算这两个特征之间的对比感知注意映射：

$C_a = sigmoid(f_{d1}(X_{in}) ➖ f_{d2}(X_{in}))$

$C_a$ ：逐像素相对对比度信息，其中高对比度的像素被认为高频层。

然后计算逆映射 $\overline{C_a} = 1 - C_{a}$ ，通过 $X_c = \overline{C_a} · X_{in}$ 获得 $X_{in}$ 的特征作为低频内容。

通过max-pooling进一步缩小所选择特征 $X_{c}$ ，获得紧凑特征 $X_{c}^↓$ ，减少GPU内存并建立非局域像素对像素依赖关系的计算， $X_{c}^↓∈R^{H′×W′×C}$

非局部上下文编码过程： $X^r_c = g(X^↓_c)^⊤× h(X^↓_c) × f(x^↓_c)^⊤$

$g 、 h 和 f$ 表示一组卷积、重塑和矩阵转置操作，这些操作首先计算了一个像素affinity table $M∈ R^{H′W′×H′W′}$ ，然后考虑每个像素与所有其他像素的关系，计算非局部增强特征 $X^r_c$ ，最后以残差方式获得频率感知的非局域增强特性 $X_{out} = Unpool(X^r_c) + x_c$
在这里插入图片描述

模型存在两个ACE模块，它们共享权重，

第一阶段：第一个ACE模块使用 $\overline{C_a}$ ，趋向于突出背景区域。

第二阶段：为了从高频层特征中学习图像特征，第二个ACE模块使用contrast-aware attention map ${C_a}$ ，趋向于突出物体重建高频细节。

2.2 CDT Module

在这里插入图片描述

CDT模块在低光域和增强域缩小差距时，增加了接受域，其可以获取更多全局信息用于帮助恢复光线和图像内容，作用：比较在噪声低光域和增强域提取的频率感知特征。

第一阶段：在与相应解码器特征 $X_{de}$ 连接之前，编码器 $X_{en}$ 的噪声特征首先通过self-derived inverse contrast-aware map $\overline{C_a}$ 进行空间重加权，以过滤掉高对比度信息。然后，从连接的特征 $X_{en},X_{de}]$ 计算全局尺度向量v，以通道方式自适应地重新缩放不同域的特征。