多重曝光校正的曝光归一化与补偿

Exposure Normalization and Compensation for Multiple-Exposure Correction
2022年CVPR
代码：Code: https://github.com/KevinJHuang/ExposureNorm-Compensation.

摘要

曝光不当拍摄的图像通常会带来不令人满意的视觉效果。以往的工作主要集中在曝光不足或曝光过度的校正上，导致对各种曝光的泛化能力较差。另一种解决方案是混合多个曝光数据来训练单个网络。然而，校正曝光不足和曝光过度到正常曝光的程序（步骤）彼此差异很大，导
致网络在校正多个曝光时存在很大差异，从而导致性能较差。解决这一问题的关键在于衔接不同的暴露表示。
为了实现这一目标，我们设计了一个基于曝光标准化和补偿（ENC）模块的多重曝光校正框架。具体地，ENC模块包括曝光归一化部分和补偿部分，曝光归一化部分用于将不同的曝光特征映射到曝光不变特征空间，补偿部分用于对曝光归一化部分未处理的初始特征进行积分，以确保信息的完整性。此外，为了进一步缓解优化过程中变化引起的不平衡性能，我们引入了一种参数正则化微调策略，以提高性能最差的曝光的性能，而不会降低其他曝光的性能。我们的模型通过ENC增强，比现有方法的性能提高了2dB以上，并且对多个图像增强任务具有鲁棒性，证明了其在现实应用中的有效性和泛化能力。

总结：
需要解决的问题：
1、当前的工作主要集中在曝光不足或曝光过度的校正上，导致对各种曝光的泛化能力较差。
2、混合多个曝光数据来训练单个网络
存在的问题，校正曝光不足和曝光过度到正常曝光的程序（步骤）彼此差异很大，导
致网络在校正多个曝光时存在很大差异，从而导致性能较差。在哪里差异！！！
导致网络在校正多次曝光的亮度和颜色方面存在差异，从而使训练单个网络变得困难，并导致性能较差。此外，优化过程的变化也使网络倾向于忽略混合数据集的不利数据[35]，并导致不同暴露的性能不平衡。

文章的解决方案：曝光归一化和补偿（ENC）模块的多重曝光校正框架
ENC模块包括曝光归一化部分和补偿部分：
曝光归一化部分用于将不同的曝光特征映射到曝光不变特征空间。
（什么意思，曝光不变的特征空间是指什么特征）这里的曝光特征又是指的是什么？？？
补偿部分用于对曝光归一化部分未处理的初始特征进行积分？集成？，以确保信息的完整性。
初始特征是什么，为什么存在曝光归一化部分未处理，信息完整性，怎么完整，补偿是怎么补偿？？？
此外，为了进一步缓解优化过程中变化引起的不平衡性能，我们引入了一种参数正则化微调策略，以提高性能最差的曝光的性能，而不会降低其他曝光的性能。
代码和图片学习

论文的总结：
看完之后的理解：文章通过一个IN结构将曝光数据进行归一化，但存在一个问题，就是部分（或者说是靠近均值的特征图可能没有被处理），然后在利用补偿机制进行补偿，这样的话，信息就实现了完整性，（但是这是应该仅仅是一个归一化的结构而已吧，矫正哪里来的矫正呢？）然后，作者将这个模块放在一些现有的曝光矫正算法里面，然后考虑到一些曝光不好的，可以使用持续学习的正则化去调整参数，其他的矫正基本不变。

文章的正文：

介绍

近年来，相机设备被用来在任何时候捕捉各种场景的照片。由于不同的场景呈现不同的曝光条件，以曝光不足或曝光过度拍摄的图像往往会出现不令人满意的视觉效果。为此，一些曝光校正方法被提出，包括基于模型驱动的[4，9，11，21，38]和基于深度学习的方法[10，33，34，36，41]。然而，它们大多集中在曝光不足或曝光过度的场景上，导致对其他曝光的泛化能力较差。这使得它们无法在实际应用中部署。

解决这个问题的一个简单方法是训练对应于每个暴露条件的特定网络，从而显著增加训练时间和参数空间。或者，可以使用来自各种曝光条件的数据的混合来训练网络，以提高其多次曝光校正的能力。然而，由于曝光不足和曝光过度之间的表现形式的变化，将它们校正为正常曝光的程序彼此差异很大，如图所示1。这导致网络在校正多次曝光的亮度和颜色方面存在差异，从而使训练单个网络变得困难，并导致性能较差。此外，优化过程的变化也使网络倾向于忽略混合数据集的不利数据[35]，并导致不同暴露的性能不平衡。

图1。SICE数据集样本曝光不足和曝光过度校正曲线的静态图示，这些曲线彼此显著不同。
在本文中，我们提出了一个提高多重曝光校正性能的框架。关键在于缩小不同曝光表示的差距。为此，我们设计了一个曝光标准化和补偿（ENC）模块，如图3所示。它由曝光归一化部分和补偿部分组成。具体地，曝光归一化部分将不同的曝光特征映射到曝光不变特征空间。它是通过实例归一化来实现的，以粗略地对齐不同的曝光特征，然后归一化提取归一化特征上的损失，以进一步降低曝光效果。
然而，归一化将不可避免地导致图像重建的图像判别特征[17，27]的损失。因此，引入了补偿部分，用于在空间和通道维度上对曝光归一化部分未处理的特征进行积分，从而确保了信息的完整性。
此外，为了进一步增强引起的最差曝光的校正效果平衡性能，微调此曝光的直观方法将导致其他曝光的性能下降。在这里，我们固定ENC的参数，以保持其对所有曝光的归一化能力，并使用参数正则化策略对其他部分进行微调。该策略降低了对其他风险敞口很重要的参数的更新率，从而形成了一个对所有风险敞口都有均衡改进的网络。
以上是核心，如何理解

此外，我们提出的ENC可以扩展到解决其他图像退化问题，例如不同手机拍摄的图像质量退化，证明了我们方法的泛化能力。
这项工作的主要贡献总结为：
•我们通过缩小不同暴露表示的差距，提出了一个多重暴露校正的框架。特别是，我们开发了一个曝光标准化和补偿（ENC）模块，它简单而有效，可以用作现有曝光校正架构的即插即用模块。
•在ENC内部，我们设计了一个曝光归一化部分，用于将不同的曝光特征映射到曝光不变特征空间，以及一个补偿部分，用于集成未经归一化处理的特征，以确保信息的完整性。
•为了改善训练过程中表现最差的暴露，我们采用参数正则化策略在除ENC模块外的网络上对其进行微调，从而实现平衡改进。
•我们在几个数据集上验证了我们的框架的有效性。此外，我们将其扩展到各种图像增强任务中，并取得了显著的性能，这表明了它在实际应用中的推广优势。

2.相关工作

已经开发了用于曝光校正的各种方法。一些传统的方法建议使用基于直方图的技术来增强对比度和亮度[1,30,31,38]，而另一种方法是基于Retinex理论[19]，通过增强照明成分和通过反射分量的正则化来抑制噪声[4，11，21，29，39]。最近，随着深度学习方案的出现，暴露校正任务受益于深度学习模型[7，13，22，26，37]。基于Retinex理论，RetinexNet[34]提出以数据驱动的形式恢复照明，KIND[41]进一步引入了用于恢复反射率分量的子网络。作为分量分解的另一种形式，Ren等人[28]使用两个不同的流来同时学习全局内容和显著结构，DRBN[36]将特征分解为不同的带表示，用于带递归学习。此外，还提出了用于自适应照明调节的自监督方法[10，20，40]。然而，这些方法大多侧重于曝光不足或曝光过度校正，限制了它们在各种曝光条件下的应用。尽管MSEC[2]以从粗到细的方式校正各种曝光，但它无法在曝光之间实现一致的校正，从而产生亮度偏移的结果。
与这些方法相比，我们的算法旨在缩小不同曝光特征的差距，以有效提高训练性能。

3.方法

3.1. 动机和概览
在不同场景下拍摄的图像往往会出现曝光不足或曝光过度的问题。对于多重暴露校正，我们的目标是在混合多重暴露数据集上设计一个统一的框架训练，将各种暴露校正为正常暴露。
如图1所示，由于曝光不足和曝光过度明显呈现出不同的曝光表现，校正曝光不足和曝光过度的过程显著不同。因此，网络在多次曝光中校正亮度和颜色存在很大差异，这给训练过程带来了困难，并导致性能不佳，带来了颜色和亮度失真问题。此外，在混合数据集上进行训练可能会导致优化过程的变化，导致网络倾向于忽略混合数据集中的不利数据[35]。因此，网络在某些风险敞口中的表现不如其他风险敞口，从而导致各风险敞口的表现不平衡。
为了解决上述问题，我们设计了一个由训练和微调阶段组成的框架（见图2）。

图2:我们提出的框架概述。在培训期间，网络被培训为将多次暴露校正为正常暴露。在微调过程中，我们通过参数正则化对训练阶段表现较差的曝光进行微调。
在训练过程中，网络是在具有常规损失的各种暴露的混合数据上进行训练的。具体来说，为了解决较差的性能问题，我们提出了一种ENC模块来缩小多个曝光表示的间隙，从而在曝光过程中实现一致的亮度和颜色校正。ENC模块可以用作现有曝光校正网络的即插即用模块。以DRBN[36]网络为例（见图3），可以在DRBN的每个块之后添加ENC。为了进一步缓解不平衡的性能，我们将表现比其他暴露差的暴露命名为表现较差的暴露，并使用参数正则化策略对其进行微调，以提高其校正性能，同时保持其他暴露的性能。

图3。我们在DRBN[36]网络中提出的ENC模块的说明，包括曝光归一化部分和补偿部分。曝光标准化部分将不同的曝光特征F映射到曝光不变特征Plot Fn，而补偿部分补偿由标准化引起的信息损失，该标准化在空间和通道维度上集成了未经曝光标准化处理的特征。为了减少曝光对特征的影响，进一步引入了归一化提取损失Lnd和曝光提取损失Led。
3.2. 曝光标准化和补偿
如图3所示，我们实现了我们的ENC模块，分为两个部分：曝光归一化部分，用于将各种曝光特征映射到曝光不变特征空间；补偿部分，用于对未经归一化处理的特征进行积分，以补偿归一化后去除的图像判别信息。
曝光标准化部分。
在曝光规格化部分，我们首先使用实例规格化来粗略对齐特征。假设输入特征为F，我们通过以下方式执行实例规范化：

其中μ（·）和σ（·）表示每个通道和每个样本在空间维度上计算的平均值和标准偏差，γ和β是从数据中学习的参数。通过在特征空间中配备实例归一化，它可以对特征统计进行归一化以进行样式归一化[14]。由于每个曝光都可以被视为一种样式，因此不同的曝光都与实例规范化对齐，以减少其表示差异。
之后，我们引入了归一化提取损失，以进一步减少曝光对归一化特征的影响。特别地，在卷积层之后，我们在不同曝光的归一化特征（Plot Fn）和正常曝光的归一化特性（Plot F范数n）之间实现这种损失，其定义为：

哪里1表示两项之间的L1距离。它有效地迫使不同曝光的标准化特征与正常曝光的特征相似，从而减少它们的差异。
图4显示了我们的ENC中不同组件的特征可视化，其中实例归一化处理的曝光不足和曝光过度特征更相似，并且Lnd进一步减少了它们的差异。
补偿部分。在空间和通道维度上
归一化不可避免地会去除判别信息[17，27]，从而导致图像重建的信息不足。解决这个问题缺点，如图3所示。我们提出了一个补偿部分，用于集成曝光归一化部分未处理的初始特征，以确保完整性信息[23]。具体来说，我们在空间和通道维度上实现了补偿部分，可以全面获得初始特征和归一化特征之间的相关性。这些相关性反映了它们的信息关系，从而有助于引导从初始特征整合丢失的信息。
在空间维度中，归一化特征Plot Fn和未通过归一化处理的初始特征Plot F与注意力图A和An集成。这里，A和An表示特征Plot F和Plot Fn之间的相关性，并且A由空间注意力导出为：

其中W0是核的权重矩阵，*表示卷积运算，[·]表示连接运算。同样，也会生成An。空间相互作用的特征F′和F′n可以通过以下方式获得：
其中·表示按元素相乘。然后，我们在渠道维度上进一步整合了这两个特征。具体来说，我们通过应用注意力权重Af来自适应地对F′和F′n的级联特征进行加权，并且Af是由类SE[12]通道注意力导出的。特别地，通过池化层和由W1和W2参数化的两个FC层来获得Af，其可以表示为：

值得注意的是，我们在等式5中实现了池化操作，其中全局对比度平均池化用于捕获全局以及局部信息[15]，这有利于图像处理。此操作定义为：

其中Fi和Fo表示全局池化操作的输入和输出特征，x和y是位置坐标，H和W表示空间大小。最后，通过将级联特征[F′，F’n]与Af加权，导出ENC的输出特征（表示为Ff），可以表示为：
为了进一步保持集成特征Ff的曝光不变特性，我们需要减少从ENC的输入特征F引入的曝光效应对Ff的影响。因此，我们将Ff和综合正常曝光特性之间的曝光提取损失应用为：

经过ENC处理后，曝光不足和曝光过度之间的差距缩小了。如图4的最后一列所示，经过ENC处理后，曝光不足和曝光过度特征之间的误差较小。图5进一步展示了特征空间中的统计可视化，证明了我们的方法桥接其表示的有效性。

图4。基于SICE数据集样本的ENC中不同组件的特征可视化。可以看出，如（b）和（h）所示，来自曝光不足和曝光过度的ENC的输入特征F大不相同。如（c）和（i）以及（d）和（j）所示，在由曝光归一化部分处理之后，输入特征被映射到曝光不变空间，并且它们的差异逐渐减小。使用ENC，曝光不足和曝光过度之间的表示差距明显缩小，如（e）和（k）以及（f）和（l）所示。

图5。t-SNE[32]ENC中特征的可视化。可以看出，在经过ENC处理后，曝光不足和曝光过度的表示往往会相交在一起。
这个是怎么来的啊，t-SNE[32]特征的可视化
，
接入曝光校正网络。
作为一个即插即用模块，所提出的ENC模块可以被纳入大多数现有的曝光校正网络。选择两个具有代表性的基线网络，SID[6]和DRBN[36]作为骨干。对于SID，它是一个基于U-Net的架构，具有编码器和解码器。我们将其第一层替换为ENC模块，并将其表示为SID-ENC，为后续处理提供具有桥接表示的特征。至于DRBN，它是一个由多个U形块组成的框架。如图3所示，ENC模块也可以在其第一个块（DRBN-ENC）或在所有四个块（DRBN-ENC-4）中设置为DRBN的第一层，这两个模块都可以获得更好的曝光校正性能。
3.3. 参数正则化微调
为了进一步改善在训练阶段表现比其他暴露差的最差暴露，一种直观的方法是对其进行微调。然而，这可能会导致其他暴露的性能下降。受连续学习的EWC方法[18]的启发，我们采用了具有一阶和二阶参数重要性修正方案的参数正则化策略。
什么叫做连续学习的EWC方法

具体而言，由于ENC对所有曝光都很重要，有助于缩小其表示的差距，因此我们固定其参数，并根据参数重要性更新其他参数。通过这样做，我们可以改善表现最差的曝光的结果，同时保留其他曝光的性能。
如图6所示，我们给出了参数正则化策略的示意图。特别地，我们先计算从多次暴露训练阶段获得的网络的参数重要性，然后固定ENC的参数并基于参数重要性更新其他参数。
？？这个还可以获取网络参数的重要性？？

特别地，通过将对各种曝光的训练表示为任务0，并将对执行最差的曝光的微调表示为任务1，参数重要性权重Ωθk是通过累积各种曝光数据点上的梯度来计算的：

其中f（.）表示我们网络的映射函数，θk表示网络的任何参数，θ1 k=θ0 k+δθk，δ表示参数变化幅度，x表示输入的各种曝光数据。特别地，上述方程可以写成：

其中L是传统的基线损失法。在这里，我们采用前两项作为近似值*。
为了改善表现最差的暴露，同时保持其他暴露的表现，我们添加了一个基于基线常规损失的正则化项，以保持对所有暴露的训练知识。总之，微调的总损失L′公式为：

这样，对其他风险敞口很重要的网络参数更新较少，从而保持了它们的性能。

4.实验

4.1. 设置
数据集。实验在两个多次暴露的数据集上进行评估，包括MSEC[2]收集的多次暴露（ME）数据集和SICE数据集[5]。ME数据集包含五个级别的曝光图像。为了证明我们的方法的有效性，我们在ME数据集的两个设置上进行了实验。在[3]之后，选择中间暴露子集的修饰版本作为标准ME数据集[2]中的基本事实，该数据集包括17675个训练样本对、750个验证样本对和5905个测试样本对。此外，我们还对修正后的MEv2数据集进行了实验，该数据集选择ME数据集中的中间暴露子集作为基本事实，并保留其他暴露子集作为多重暴露输入。注意，ME-v2数据集包括14144对用于训练，600对用于验证，4724对用于测试。对于SICE数据集，我们采用中间曝光子集作为基本事实，而第二和最后一秒曝光子集分别设置为曝光不足和曝光过度的图像。SICE数据集中的训练、验证和测试对的数量分别设置为1000、24和60。
方法比较。
为了进行性能比较，我们将我们的方法与MSEC和基线网络进行了比较。此外，选择CLAHE[30]、RetinexNet[8]和ZeroDCE[10]进行比较。补充材料中提供了更多与其他方法的比较结果。由于在ENC中引入了更多的参数，我们通过增加信道数量来扩展我们的基线网络，以进行公平的比较，这些信道被表示为DRBN-L和SID-L。此外，第3.2节中提到的SID-ENC、DRBN-ENC和DRBN-ENC-4模型以及我们的微调策略被分别表示为I-SID（改进的SID）、I-DRBN（改进的DRBN）和IDRBN-4（改进的-DRBN-4）。
实施细节。我们在NVIDIA 2080Ti GPU上进行了所有实验，这些实验基于具有相同训练设置的基线网络的发布代码。具体来说，我们的SID是用批量大小为1和补丁大小为384×384来训练的，而DRBN是训练的批量大小为4，补丁大小为256×。在训练过程中，我们通过Adam优化器对网络进行优化，学习率为1×10−4，持续80个时期。在微调过程中，我们将方程11中的λ设置为0.7，并以4×10−5的学习率对网络进行40个时期的训练。所有方法都根据PSNR和SSIM进行了评估。

4.2. 定量评价
ME和ME-v2数据集的评估结果如表1所示。为了简化，我们将前两个级别的曝光和其余级别的曝光结果平均，分别作为曝光不足和曝光过度的结果。可以看出，MSEC方法的性能优于我们设计良好的基线网络，并且在SID-L和DRBN-L中引入的信道不能显著提高性能。在我们的方法的帮助下，I-SID和I-DRBN网络都获得了比MSEC方法更好的性能和更好的结果。由于模型大小仅增加了3%，I-SID和I-DRBN-4显著提高了PSNR，这证明了我们的ENC模块的有效性。
为了进一步证明我们模型的能力，我们还在SICE数据集上进行了实验。如表2所示，随着我们方法的引入，SID和DRBN的PSNR和SSIM在曝光不足和曝光过度子集上都有了很大的提高，大大优于其他方法。


4.3. 定性评估
图8展示了ME数据集上的一些可视化结果。可以看出，我们的方法实现了更好的色彩和亮度恢复效果。我们在图7中进一步对SICE数据集进行了可视化比较。通过使用我们的方法，可以显著地减少伪影。补充材料中提供了更多的可视化结果。

图8。（顶部）曝光不足校正和（底部）曝光过度校正的ME数据集的可视化结果。可以看出，对于曝光不足和曝光过度的图像，DRBN和MSEC都存在颜色和亮度偏移问题，而SID往往会产生伪影。相反，我们的方法可以在保留结构的同时实现颜色和亮度的恢复。
4.4. 消融研究
我们进行了消融研究，以证明所提出的ENC模块和参数正则化策略的有效性。补充材料中提供了更多消融研究结果。
ENC模块。
基于SID网络，我们在ME和SICE数据集上进行了实验，以研究ENC模块中不同组件的有效性。如表6所示，在没有实例归一化的情况下，网络性能显著下降，证明了将不同暴露映射到暴露不变空间的有效性，而归一化提取损失的引入进一步增强了这种效果。补偿部分还可以提高性能，因为它集成了初始特征以确保信息的完整性。具体而言，空间维度和通道维度的整合过程都得到了改进。此外，引入曝光提取损失有助于减少曝光对集成特征的影响（见图9），从而导致增强。注意，由于引入了特征约束，只有暴露损失的使用也有助于改进。我们进一步研究了ENC模块数量对DRBN基线网络的影响。如图10所示，它验证了我们的ENC模块在改进曝光校正方面的有效性。此外，我们在补充材料中提供了我们的ENC模块与其他即插即用模块的比较结果。
参数正则化策略。
为了进一步证明我们的参数正则化策略的有效性，我们对SICE数据集进行了消融研究。如表3所示，在表现最差的过度曝光数据集上简单微调的DRBN和SID表示为DRBN-ENC-4-SEQ和SID-ENC-4-SEQ，这导致曝光不足数据集的显著性能下降。通过使用参数正则化，可以增强过曝光性能，而与其他级别的曝光相比性能几乎没有下降。


图10。基于DRBN网络的ENC模块数量的消融研究。ENC模块的数量增加会带来更好的性能。


4.5. 扩展和讨论
为了展示我们的方法在现实世界应用中的潜力，我们将其扩展到不同类型的增强任务中。首先，我们混合了几个数据集，同时处理三个图像增强任务，包括图像修饰、微光增强和曝光过度校正。其次，为了证明我们的方法的可推广性，我们在未知的增强数据集上评估了训练的模型，而没有进行微调。
第三，我们对不同手机拍摄引起的图像质量下降进行增强，这是一个现实世界中的问题。
多项增强任务。
我们混合了为弱光增强设计的LOL数据集[8]、为图像修饰收集的MIT FiveK数据集[3]和SICE数据集的过度曝光子集，以构建任务混合数据集。结果如表4所示。通过引入我们的方法，可以显著提高多任务数据集上每个任务的性能。
泛化评估。
为了评估所提出的框架[24，25]的可推广性，我们评估了Brighten数据集[8]上的训练模型和SICE数据集的曝光不足子集。如表4和图11所示，实例规范化的引入提高了我们模块的健壮性。我们的方法的泛化结果也可以改进，这证明了我们的工作在现实世界应用中的潜在用途。
各种手机图像增强。
我们采用DPED数据集[16]进行各种手机图像增强的实验，其中包含三种手机拍摄的图像。我们从每种手机类型中选择2048张图像和380张图像作为训练和测试集。如表5所示，随着我们方法的引入，DRBN的性能可以得到提高，显示了我们算法在更多应用中的有效性。



5.结论与限制
在本文中，我们开发了一个多重曝光校正的框架。提出了一种曝光标准化和补偿（ENC）模块，以缩小多个曝光表示的差距，从而实现曝光之间的一致性校正。然后，我们使用参数正则化微调策略来获得对所有曝光具有平衡改进的网络。实验结果表明，我们的方法在多次曝光校正方面取得了优异的性能。然而，我们的方法未能纳入处理严重噪声损坏的特定设计，这种严重噪声损坏通常出现在极端黑暗的条件下，这可以在未来进行调查。

代码复现：