paper： Low-Light Image Enhancement with Normalizing Flow

天天都在摸鱼的乐乐

已于 2022-05-20 21:34:41 修改

阅读量850

点赞数 5

文章标签：计算机视觉机器学习深度学习

于 2022-05-20 15:55:42 首次发布

本文链接：https://blog.csdn.net/qq_46401672/article/details/124880593

版权

Low-Light Image Enhancement with Normalizing Flow

归一化流：是一个简单的概率分布（例如，一个标准的正态分布）通过一个可逆的和可微的映射的序列转换为一个更复杂的分布。同时，通过将一个样本的概率密度函数转换回简单的分布，可以精确地得到其概率密度函数(PDF)值。

现在广泛使用的损失函数存在的问题

L1,L2损失类似的这种像素级损失不能对不同情况下的局部结构提供有效的正则化。
由于对图像分布的像素级损失的简化假设，这些损失可能无法描述真实的视觉距离在图像流形中的参考图像和增强图像之间

现状

由于经典的归一化流 倾向于学习图像图形属性如局部像素相关性，它可能无法建模一些全局图像属性如颜色饱和度，这可能会破坏性能当应用这些方法去处理弱光图像增强问题。通过对正常暴露图像的分布进行建模，准确地学习局部像素相关性和全局图像属性。 $\color{#FF3030}{关于全局信息的引入}$ 为了将全局图像信息合并到潜在空间中，我们建议 $\color{#FF3030}{使用照明不变的颜色映射}$ 作为先验分布的平均值，而不是使用标准高斯分布作为先验分布的先验。

改进

建模正常曝光图像的条件分布，等价于构建一个有效的约束在增强的图像流形上，通过更好地表征结构细节和更好地测量视觉距离，它可以更好地调整照明，并抑制噪声和伪影。
引入了一个新的模块来提取受Retinex理论启发的光照不变颜色图，作为弱光图像增强任务的先验，丰富了饱和度，降低了颜色失真。

基础知识

配对样本( $X_{l}$ ， $X_{ref}$ )通常通过最小化l1重建损失来训练模型Θ，如下

在这里插入图片描述
其中，f是概率密度函数

其中，b是关一个与学习率相关的常数
$\color{#FF3030}{缺点：}$ 预定义的图像的分布(例如，在等式2中的分布)不足以区分生成的真实正常暴露的图像和有噪声或伪影的图像。

网络结构

编码器 $g(x_l)$ ：学习一个一对一的映射，以提取可被视为不随光照而变化的场景的内在属性的颜色映射。这可以看作是受视网膜神经元理论启发的反射率图.
可逆网络：旨在学习从弱光图像到正常曝光图像分布的一对多映射。

本文提出使用归一化流对正常曝光图像的复杂分布进行建模，从而使正常暴露图像的条件PDF可以表示为 $f_{flow}$ (x|xl)。更具体地说，条件归一化流Θ用于将弱光图像本身和/或他的特征作为输入，并将正常曝光的图像x映射到与z具有相同维度的潜在编码z，即z=Θ(x；xl)。利用变量变化定理，我们可以得到 $f_{flow}$ (x|xl)和 $f_z$ (z)之间的关系如下：
在这里插入图片描述
为了使模型更好地表征高质量正常暴露图像的特性，我们使用最大似然估计来估计参数Θ。特别地，我们最小化负对数似然(NLL)，而不是 $L_1$ 损失来训练模型:

其中，可逆网络Θ被划分为N个可逆层序列{θ1，θ2，…，θN}和 $h^{i+1}$ = $θ^{i}(h^{i};g^{i}(x_{l}))$ 是输出层θi(i范围从0到N-1. $h_0=x_{ref}$ 和z= $h^{N}$ 。 $g^{n}(x_l)$ 是编码器g的潜在特征，它具有与层θn相容的形状。 $f_z$ 是潜在特征z的概率密度函数。

Encoder for illumination invariant color map

编码器g的输入的分量。将低光图像xl、直方图均衡h(xl)后的低光图像、颜色图C(xl)和噪声图N(xl)连接，形成具有12个通道的输入。

Histogram equalized imagee $h(x_l)$ :采用直方图均衡化的方法来提高低光图像的全局对比度。直方图均衡的图像可以看作是一个更具光照不变的图像。通过将直方图均衡图像作为网络输入的一部分，网络可以更好地处理太暗或太亮的区域。
Color map C(x):

由的公式5的得到颜色map。

对比上图，我们发现即使低亮度会导致一部分颜色信息丢失，但是绝大部分的颜色还是保留了。本文用编码器g(x）一对一的得到了颜色map如b图。
Noise map:为了消除 $C(x_l)$ 中的噪声，我们估计了一个噪声图N(xl)，并将其作为注意图输入到编码器中。噪声图N(xl)的估计如下

其中，∇x和∇y是x和y方向上的梯度映射，其中max(x，y)是在像素通道级别上返回x和y之间的最大值的操作。

Invertible network:

不同于编码器学习一对一的映射来提取照明不变的颜色映射，这可以被视为对象的内在不变属性。就是反射map，可逆网络的目的是学习一对多的关系，因为在相同的场景中照明可能是不同的。我们的可逆网络由三个层组成，每一层都有一个挤压层和12个flow steps。关于该体系结构的更多细节可以在附录中找到。
根据我们的假设，归一化流旨在学习条件分布的正常曝光图像在低光图像/照明不变的颜色map。在g(xl)和 $C(x_{ref})$ 的约束是这两个map预计是相似的 $\color{#FF3030}{这里也就是说低光照图像的颜色map和正常曝光图像的潜在编码z保持一致，可以认为z就是正常亮度图像的反射层}$ 。为此，我们以以下方式对整个框架（包括编码器和可逆网络）进行训练：

在这里插入图片描述
其中 $f_z$ 为潜在特征z的PDF，定义如下

这里r(a、b)是一个随机选择函数，其定义如下：

这里p相当于一个阈值，默认设置为0.2，由于a是随机生成的，这意味这z的概率密度函数可以选择来自正常亮度的color map 或者是低光照图像提取到的固有的成分信息。

增强流程

首先将低光图像通过编码器提取颜色图g(xl)，然后将编码器的潜在特征作为可逆网络的条件。
对于z的采样策略，可以从N(g(xL)、1)得到的分布中随机选择一批z去得到不同的输出，然后计算生成的正常曝光图像的平均值，以获得更好的性能。
为了加快推理速度，我们直接选择g(xl)作为输入z，并通过经验发现它可以得到足够好的结果。 $\color{#FF3030}{这里也就是说我们在实验中发现，在这里不使用正常图像的编码z也能够得到好结果，只用编码器g提取到低光照图像的特征}$ 因此，对于所有的实验，如果没有指定，该方法只使用平均值g(xl)作为条件归一化流的潜在特征z。