【阅读笔记】DRLIE: Flexible Low-Light Image Enhancement via Disentangled Representations(2022TNNLS)

摘要：

弱光图像增强（Low-light image enhancement (LIME)）是将亮度不理想的图像转化为理想的图像。与现有的不可控亮度控制方法不同，提出了一种灵活的框架，以用户指定的引导图像为参考，提高了实用性。为了实现这一目标，本文从信息解耦的角度，将图像建模为内容和曝光属性两个组成部分的组合。具体来说，我们首先采用内容编码器和属性编码器来解开这两个组件。然后，将弱光图像的场景内容信息与引导图像的曝光属性相结合，通过生成器重构增强图像

第一章-导言：

在低光环境中捕获的图像表现出一系列视觉退化，例如，低对比度、强噪声和细节丢失。低照度图像不仅会引起令人不快的主观感觉，而且会降低主要为高质量图像设计的计算机视觉系统的性能。因此，普遍需要低光图像增强以在保持成像内容的同时呈现具有期望照明的图像。该过程有助于改善视觉感知，并为许多高级计算机视觉任务（如监控、对象检测、人脸检测和自动驾驶）提供高质量的输入

本文贡献：

Ⅰ提出一种可控光照引导的微光图像增强算法

Ⅱ提出一种图像的纠缠表示，我们是第一个把这个引入微光图像增强领域

Ⅲ设计了损失函数

Ⅳ我们的方法是一个无监督模型，不依赖于ground truth

解纠缠表示理论的本质是对数据变化因素的建模。近年来，人们提出了一系列无监督的方法来学习解纠缠表示。DrNet 利用视频的时间相干性和对抗损失将每一帧分解为静止分量和时间变化部分。Tran等人提出了解纠缠表示学习生成对抗网络，该网络将姿态和身份部分解纠缠，用于姿态不变的人脸识别。Lee等人将图像嵌入到两个独立的空间中，即域不变内容空间和域特定属性空间。随后，通过操纵该属性来实现不同视觉域之间的图像到图像的转换。Lu等人从模糊图像中分离出内容和模糊属性，并将模糊信息明确编码到单幅图像去模糊框架中。Du等人通过解纠缠表示和对抗域自适应从噪声数据中学习不变表示，在有效的自监督约束的辅助下，可以重建具有更清晰细节和更好视觉感知的高质量图像。图像融合的解纠缠表示（DRF）将源图像映射到域不变场景空间和域特定属性空间，并合并两种类型的表示以实现多模态图像融合。

第三章-方法论：

输入是一张低光的一张正常光的，输出是增强后的

作为图像的两个固有组成部分的内容和曝光属性可以通过内容编码器EC和属性编码器EA从源图像中分离。在分别从弱光图像和向导图像提取内容表示和曝光信息之后，生成器G将内容特征和曝光属性的组合集成到增强图像中。

内容编码器EC由五个模块组成，包括三个卷积层和两个残差块。包括三个卷积层和两个残差块。第一卷积层使用7 × 7滤波器获得16个特征图。第二和第三卷积层在空间维度上对特征图进行下采样，并通过3 × 3滤波器增加通道数。对特征映射进行下采样的目的是有助于将内容特征约束在小尺度和高维特征空间内的内容一致性损失。随后，采用两个级联残差块来减轻梯度消失和爆炸难题。

属性编码器EA的前两个模块是具有泄漏校正线性单元（ReLU）激活函数的卷积层，其负责从输入图像中提取足够的曝光信息。第三层由级联卷积层、平均池和Leaky Relu激活函数组成。然后，通过全局平均合并对空间曝光信息进行压缩，并通过全连通层得到曝光属性的均值和标准差。

Content encoder得到的是一组特征图，attribute encoder得到的是均值和方差

损失函数：

①content feature consistency loss

约束不同领域的信息通过同一个编码器映射到内容空间

②attribute distribution loss:

研究表明，先验高斯分布适合于约束曝光属性，所以作用是把他约束成高斯分布

③reconstruction loss:

这个就是重构损失，没啥好讲的

④domain translation loss:

与重构损失也很像，是用来约束生成器的

⑤总的损失函数：

⑥GAN的鉴别器还有一个损失函数：