【阅读笔记】CLEGAN Towards Low-light Image Enhancement for UAVs via Self-Similarity Exploitation(2023TGRS)

当前难点：

①在遥感领域难以获取真实世界的低光/正常光图片对

②没有成对数据作监督

Motivation:

①通过自相似对比学习(SSCL)在一个名为CLEGAN的深度GAN框架内以完全无监督的方式最大化低光照和恢复图像之间的互信息。

②我们建议使用从输入本身提取的信息来正则化未配对的训练，而不是使用地面真值数据来监督学习。

③嵌入双照度感知模块(DIPM)来处理遥感图像中信息的内部递归性和整体照度分布的不均匀性。DIPM主要由两个协作模块组成:空间自适应光调节模块(SALAM)和全局自适应光调节模块(GALAM)。具体而言，SALAM利用遥感图像中信息的内部递归性，将更大范围的上下文信息编码为局部特征，并进行适当的光估计。同时，GALAM增强了特征映射中最有价值的照明相关通道，以实现更好的光估计

网络结构：

①概述。

给定一个输入的弱光图像x，我们的目标是使用生成器G以无监督的方式从x映射到输出的正常光图像y。然后，我们使用Patch discriminator [43] D来确保翻译后的图像属于正确的域，从而提高了生成图像的质量。所采用的Patch鉴别器减少了网络的参数，并且比其他传统的鉴别器执行速度更快。对于鉴别器，我们从输出和真实的正光图像中随机提取裁剪后的补丁，然后判断它们是真实的(来自真实图像)还是假的(来自生成的图像)，从而确保增强图像的所有局部补丁看起来都像真实的。在此过程中，我们利用自相似对比学习和对抗训练策略进行网络训练

      图2 生成器的总体结构

②双照明调整模块(DIPM)

包含SALAM和GALAM。SALAM捕获整个图像中像素之间的长期依赖关系，以增强特征表示并进行适当的光估计。GALAM探索特征通道之间的相互依赖关系，以捕获更多信息特征并增强最有价值的照明相关通道。SALAM和GALAM的最终目标是相同的，都是为了实现更好的光估计

Ⅰ空间自适应光照调整模块（SALAM）

由于遥感图像中，类似的地面目标往往重复出现，可以利用这些板块具有相似外观、纹理、亮度的特性。但是卷积层的接受域仅限于局部，无法放眼全局。而相邻像素点的亮度变化大，故会导致相邻像素的亮度非常相似，导致不正确的亮度估计和不清晰的纹理。

据此提出非局部块【44】。将一个位置的响应作为所有位置特征的加权和来计算。

SALAM包含两个分支。非局部块提取的空间信息作为注意图进一步进行光估计。主分支便于细节的表示。主分支由堆叠的卷积层和Leaky ReLU激活函数组成，可以提取更高的特征。最后，我们将主分支的输出与来自注意分支的注意图相乘得到结果

这俩先进行点乘运算，计算自相似度。

两个子通道作自注意力，计算出权重，加入到第三个通道上。

Ⅱ全局自适应光照调整模块（GALAM）

从低层视觉的角度来看，每个通道代表不同的全局信息，因此我们可以利用通道关注来强调特征图中最相关的通道。我们提出了一个全局自适应光调节模块(GALAM)来增强特征映射中最有价值的照明相关通道，并抑制不太有用的通道。

如图所示，GALAM由特征保持分支和光照校正分支组成。

与2021 TCSVT的一篇论文 Attention guided gloval local adversarial …非常像

③自相似性对比正则化分支（SSCRB）

我们观察到，弱光图像L和正常光图像N除了亮度水平不同外，在视觉内容上是一致的。因此，我们的见解是从DL和DN中提取的特征具有某些共同的属性。我们认为，如果从不同域生成的一对具有低维特征的patch是相似的(称为“正”)，那么它们在潜在空间中的嵌入距离也应该是低的，反之亦然

相同板块建模为正样本，不用板块建立为负样本，进行一个损失函数计算。…

具体来说：L和N，从哪里来？低光的是输入的源图像，N是增强后的源图像。正负样本从源图像中取。样本大小为4*3*16*16。计算欧氏距离，把前k个最大值作为负样本。

④损失函数

1、对抗损失adversial loss，采用最小二乘

2、身份保持损失identity preserving loss,采用L1距离