用于图像曝光校正的解耦和聚合

##Decoupling-and-Aggregating for Image Exposure Correction

2023年cvpr的论文，Decoupling-and-Aggregating for Image Exposure Correction
主要是对图像进行曝光矫正，通过解耦的方式，利用自己弄的一个卷积（这个应该是借鉴目标检测的吧），在训练的时候使用，然后将低频和高频分开，训练完成后再聚合。
不足的地方：这篇文章主要介绍了这个卷积的原理，并且验证这个卷积在各个增强结果的效果。相关工作感觉不是很足。
借鉴的地方，就是所设计的卷积DAConv

摘要：结构是三段式

**提出问题：**在不适当的曝光条件下拍摄的图像经常遭受对比度下降和细节失真。对比度退化会破坏低频分量的统计特性，而细节失真会干扰高频分量的结构特性，导致低频分量和高频分量混合不可分割。这将限制曝光校正的统计和结构建模能力。

**方法：**为了解决这个问题，本文提出在每个卷积过程中解耦对比度增强和细节恢复。基于观察，在卷积核覆盖的局部区域中，可以通过加法/差分运算对低频/高频的特征响应进行解耦。为此，我们将加法/差运算注入卷积过程，并设计了一个对比度感知（CA）单元和细节感知（DA）单元，以便于统计和结构规律建模。所提出的CA和DA可以插入到现有的基于CNN的曝光校正网络中，以取代传统卷积（TConv）来提高性能。此外，为了在不改变的情况下保持网络的计算成本，我们使用结构重新参数化将两个单元聚合为一个TConv内核。

**效果：**对九种方法和五个基准数据集的评估表明，与原始网络相比，我们提出的方法可以全面提高现有方法的性能，而不会引入额外的计算成本。

摘要需要认真都慢一点，仔细理解
思考：
1、对比度退化会破坏低频分量的统计特性，细节失真会干扰高频分量的结构特性
这是为什么，有什么依据呢？
**图像的低频分量：**图像的低频分量主要包括图像中变化缓慢的部分，比如平滑的区域和慢速变化的细节。低频分量对应于图像中的较大结构和整体模式，而高频分量则对应于图像中的细节和较小的变化。在频域分析中，低频分量通常对应于图像中的低频率部分。这些低频分量包含了图像的基本结构和整体特征。
图像的高频分量

低频分量对应图像中物体的亮度均匀或变化缓慢的区域；高频分量对应图像中物体的边缘、细节、噪声。

对于理解图像的频率，该图像灰度值变化剧烈程度的指标，是灰度在平面空间上的梯度。
低频
图像信号中的低频分量，指的是图像强度（亮度、灰度）变换平缓的地方。也就是大片色块，变化不那么明显的地方。

低频就是颜色缓慢地变化，也就是灰度缓慢地变化，就代表着那是连续渐变的一块区域，这部分就是低频。对于一幅图像来说，除去高频的就是低频了，也就是边缘以内的内容为低频，而边缘内的内容就是图像的大部分信息，即图像的大致概貌和轮廓，是图像的近似信息。

高频
图像信号中的高频分量，指的就是图像信号强度（亮度/灰度）变化剧烈的地方，也就是我们常说的边缘（轮廓）。

高频就是频率变化快。图像中什么时候灰度变化快？就是相邻区域之间灰度相差很大，这就是变化得快。图像中，一个影像与背景的边缘部位，通常会有明显的差别，也就是说变化那条边线那里，灰度变化很快，也即是变化频率高的部位。因此，图像边缘的灰度值变化快，就对应着频率高，即高频显示图像边缘。图像的细节处也是属于灰度值急剧变化的区域，正是因为灰度值的急剧变化，才会出现细节。

另外噪声（即噪点）也是这样，在一个像素所在的位置，之所以是噪点，就是因为它与正常的点颜色不一样了，也就是说该像素点灰度值明显不一样了,也就是灰度有快速地变化了,所以是高频部分，因此有噪声在高频这么一说。
低频保留了光影与颜色，高频保留了纹理与质感。

**2、**每个卷积过程中解耦对比度增强和细节恢复，卷积过程中，怎么解耦呢？？
如何实现对比度增强和细节恢复，通过什么方式？

**3、**基于观察，在卷积核覆盖的局部区域中，可以通过加法/差分运算对低频/高频的特征响应进行解耦。
什么是加法和差分运算，这个是参考哪里的文献呢？
**4、**我们将加法/差运算注入卷积过程，并设计了一个对比度感知（CA）单元和细节感知（DA）单元，以便于统计和结构规律建模。
怎么注入的加法/差运算注入卷积过程，对比度感知（CA）单元和细节感知（DA）单元是如何实现的呢？具体代码是什么样的

**5、**CA和DA可以插入到现有的基于CNN的曝光校正网络中，以取代传统卷积（TConv）来提高性能。他是如何插入的，具体代码是怎么样的？？

一、介绍

在不适当的曝光条件下拍摄的图像往往会出现曝光不足或曝光过度的问题，曝光不当会改变图像亮度的统计分布，从而产生对比度下降，此外，曝光不当还会破坏图像的结构特性，导致细节失真。对比度下降和细节失真将导致低频和高频成分在图像中混合且不可分割，使图像曝光校正极具挑战性。在实践中，这个问题的一个解决方案是设计一种端到端的架构，用于在共享特征空间中学习对比度增强和细节恢复[14，16]。然而，对比度相关的特征主要分布在低频分量中，而细节相关的特征则主要分布在高频分量中。由于低频成分在统计上比高频成分占主导地位，这些方法主要侧重于对比度增强，不能保证高频细节的有效恢复。
为了更好地实现对比度增强和细节恢复，一些研究人员提出对输入图像的亮度和结构成分进行分解和恢复，分别地[2，20，41]。例如，一些研究人员分解利用Retinex理论将图像分解为照明和反射分量，然后为每个分量设计一个特定的网络。其他研究人员建议将输入图像分解为多尺度分量，并采用从粗到细的策略逐步恢复亮度和精细尺度结构[2]。
然而，分解操作不可避免地破坏了亮度和细节之间的关系，并且不能平衡对比度和细节增强，导致过度平滑的问题或增强结果的伪影。
为了解决上述问题，本文提出在卷积过程中解耦对比度增强和细节恢复。该方法基于统计观察，即局部区域的特征响应可以通过差分运算分解为低频分量和高频分量。基于此，我们引入了一种与细节感知（DA）单元并行的新型对比度感知（CA）单元来指导对比度和细节建模，称为解耦和聚合卷积（DAConv）。与TConv不同，我们在卷积过程中注入了加法/差分运算，可以显式地指导对比度和细节建模。此外，为了平衡对比度增强和细节恢复，我们为每个分支引入一个动态系数来调整特征响应的幅度。我们提出的DAConv可以作为一个通用单元来代替现有的基于CNN的曝光校正网络中的TConv内核，以促进对比度增强和细节恢复。
为了降低计算成本，在推理阶段通过结构重新参数化将CA、DA和动态系数聚合到单个TConv核中。聚合是在激活函数之前进行的，线性叠加可以在不改变DAConv函数的情况下降低计算成本。之后，与原始网络相比，网络的性能可以显著提高，而不会引入额外的计算成本。对九种方法和五个基准数据集的评估证明了我们提出的方法的有效性，如图所示。1。
贡献可概括如下：
（1）我们提出了一种新的图像曝光校正解耦和聚合方案，其中两个并行卷积过程分别解耦用于对比度增强和细节恢复，然后与原始卷积方案相比，聚合为一个分支，而无需额外计算。
（2） 为了便于对比度和细节相关特征的提取，通过将加法和差分运算注入卷积过程，设计了一种新的CA和DA单元。与传统的卷积核相比，我们提出的CA和DA可以显式地对对比度和细节相关特性进行建模。
（3） 对五个主流基准数据集和九种SOTA图像曝光校正方法的评估表明，我们提出的DC可以在不引入额外计算成本的情况下全面提高对比度增强和细节恢复性能。

总结：
写作
介绍也是三段式：
1、先介绍问题是一个挑战性的任务。
2、方法，也是三段式，先最开始的方法，最后他的问题，然后为了更好的，介绍一些方法，以及他的问题，然后引出自己的方法，说明自己的方法（这个要结合自己的下面的三个点），加上自己的图。

3、贡献点（一般是三个 ，提出方案，具体的创新，评价）
问题：

2.相关工作

.图像曝光校正
曝光校正是计算成像领域的一个研究热点，已经研究了很长时间，可分为传统方法和基于学习的方法。传统的方法通常使用Retinex理论和图像直方图来增强对比度和细节。然而，由于模型容量的限制，传统方法很难处理复杂的真实世界条件。
基于学习的方法可以从数据集中自动学习复杂的映射函数，并在对比度增强和细节恢复方面具有更好的性能[2,5,6,14,15,23,29]。现有的方法倾向于通过预处理将图像（如拉普拉斯金字塔、频率变换）分解为不同的频率分量，并对不同的分量逐一进行增强。Afifi等人[2]提出了一种金字塔结构网络，以粗略的方式增强图像的亮度和细节。Huang等人[15]提出了一种基于深度傅立叶的曝光校正网络，用于图像亮度和结构分量重建。CMEC[23]和ENC[14]通过学习曝光不变空间来学习提高对比度。然而，这些预处理步骤会破坏低频和高频之间的相互关系，导致不同分量的增强幅度不平衡，导致增强结果过于平滑或伪影。
结构重新参数化。
结构重新参数化[7，8]是一种通过转换参数等效转换模型结构的方法。一种广泛使用的方法是在训练期间设计多个卷积并行模块，并在推理期间将它们合并。与上述结构重新参数化不同，我们的DAConv可以分别显式地提取统计特征和结构特征属性。
像素差异操作：
受LBP的启发，Yu等人[36]提出了中心差分运算，以提高人脸反欺骗网络在可变光照环境中的鲁棒性。Su等人[28]考虑了不同位置上的像素关系，提出了几种不同的差分模式来提取物体边缘信息。与上述工作不同，我们提出了一种新的解耦和聚合方案，以促进图像曝光校正的统计和结构特性建模，而不引入额外的计算成本。

相关工作个人觉得写的不是很好，

3.解耦和聚合卷积

曝光不足/曝光过多的图像同时受到对比度下降和细节失真的影响。对比度下降将改变低频分量的统计分布，而细节失真将干扰高频分量的结构特性。基于这种频率特性，一些研究人员建议将曝光不足/曝光过度的图像分解为一系列分量，然后分别进行对比度增强和细节恢复。然而，现有方法中的分解操作不可避免地会破坏对比度增强和细节恢复之间的耦合关系，导致增强结果出现过平滑或伪影问题。为了更好地平衡曝光校正过程中对比度增强和细节恢复之间的相对关系，我们提出了一种新的基于解耦和聚合卷积的曝光校正方法，该方法包括两个阶段：训练阶段的解耦和测试阶段的聚合。

图2:（a） 在训练阶段，每个TConv由一个DAConv代替。（b） 训练后，DA、CA、αc和αd再次聚集为单个TConv。
3.1解耦
与现有的设计多个子网络的方法不同[2，14]，我们深入研究了网络内的卷积过程，并将卷积过程解耦为两个并行分支，用于统计建模和结构建模，如图所示。第2（a）段。我们的解耦操作主要使用局部平滑性假设，该假设广泛用于图像处理[22，27]，数学公式为：

其中，x（pi）和x（pj）表示上的像素强度局部补片Rn的pi和pj的位置，xpi，xpj∈[0，1]。
这个约等于是啥意思， 让局部的块里面的像素近似相等？？？？
什么叫做局部平滑性假设呢，局部平滑性假设，
局部平滑性假设是指在一个小区域内，变量的变化相对较小。
解耦操作主要使用局部平滑性假设， 他要解耦的是应该是图像的高频和低频分量，他是如何进行的呢？

我们对曝光不当的图像进行了以下统计实验，以验证局部平滑度假设。我们从ME数据集[2]中随机抽取10000个大小为3×3的图像块。对于每个补丁，我们从不同位置随机选择5对像素，并计算每对像素的强度绝对差的平均值，如下所示：

P1到P5的值分别为0.00777、0.00778、0.00778、0.00779和0.00780。我们可以推断，不同位置的像素强度非常接近，这验证了局部平滑性假设。基于上述统计实验，我们选择局部补丁内的中心像素作为参考像素，表示为pc，其他位置的像素强度可以表示为中心像素强度和偏置ni之和：

其中ni随着像素的变化而变化，这也被称为高频分量。

这就变成了高频分量，就是ni是高频分量，然后x（pi）是低频分量

基于等式3，TConv的卷积过程可以表示为：

低频响应和高频响应是混合的。
卷积公式是这样的吗？如何卷积，没错是这样写的，这都忘了。
他这里是不是针对块进行卷积，将这一块的像素都近似等于中心像素，然后依次为基础，加ni

从方程4中，我们可以观察到，在传统的卷积特征响应中，低频响应和高频响应是混合的。为了将高频响应与上述卷积响应分离，我们引入了一个中心周围差运算：

通过中心周围差运算，可以显著抑制低频响应。我们将注入差分运算的卷积核表示为细节感知（DA）核。

这里的差分运算通过公式可以获得高频分量，

在获得高频响应后，获得低频响应的直观选项是从等式中的y（pc）中减去高频响应。4。然而，我们根据经验发现，直接减法运算会显著降低性能。其原因是所获得的特征响应也将包含巨大的噪声，尤其是在曝光条件下。

这里的低频是通过相当于图像的像素减去高频分量，这里的特征响应值得是那种呢？高频吗？？

为此，我们建议通过增加低频响应的比例来抑制高频响应，这是通过将中心环绕加法运算注入卷积过程来实现的：

在等式6中，感受野内每个位置的像素与中心像素叠加相同的强度值。从数学上讲，上述运算相当于在原始响应上添加低频响应。我们将上述内核表示为对比度感知（CA）内核。接下来，我们将DA和CA并行连接，以替代现有网络中的TConv。然而，DA和CA中的差和加法运算可能导致高频和低频响应的幅度不平衡。为了补偿这一点，我们在每个分支上引入一个动态调整系数来调整特征响应的幅度，如图所示。第2（a）段。从数学上讲，它可以表示为：

其中s是用于将调整系数的分布从0约束到1的s形激活函数。通过连续训练，不断更新调整系数，以平衡CA和DA的响应幅度。

上面应该是解耦的过程，然后下面将这两个分量聚合在一起。

3.2聚合
在DA单元和CA单元的助推下，可以显著提高网络的建模能力和性能。然而，这种并行结构会增加模型的复杂性和参数，导致效率低下。为了降低计算成本，我们引入了结构重新参数化，在推理过程中将CA和DA并行合并到TConv核中，如图所示。第2（b）段。在训练过程中，我们将k×k TConv替换为k×k DAConv。训练后，我们执行等效替换，将k×k DAConv融合到TConv内核中，以保持网络的计算成本不变，？？？？这样就保证计算成本不变吗如以下公式[7，8]所示：
首先，我们可以将方程7展开如下：

这里的结构重新参数化是什么意思，在推理过程中将CA和DA并行合并到TConv核中，

其次，第1项中的权重累加运算在数学上可以等价于1×1的卷积。然后，我们将1×1卷积扩展为k×k卷积：

其中wc（pi）由以下公式定义：

最后，我们通过卷积[8]的线性度将所有平行的k×k核融合为单个k×k核墙：

这个是什么方法？

4.实验与分析

4.1.设置
数据集。我们在多曝光校正和微光图像增强的五个主要基准上评估了我们的DAConv：ME数据集[2]、SICE数据集[4]、LOLV1[30]、LOL-v2-Real[34]和LOL-v2-Synthetic[34]。表1总结了每个数据集的详细信息。与ENC[14]和SICE[4]不同，他们只选择了一部分暴露水平进行评估。我们进一步使用所有曝光水平进行评估，以验证算法在更实际的多次曝光条件下的性能。我们随机选择489个场景作为训练集，其余100个场景作为测试集，分别包含3988个和812个配对图像。ME数据集包含每个场景的五个曝光级别，我们还使用所有曝光级别进行训练和评估。根据[14]，我们使用专家Cin[3]作为基本事实。参考[14]，我们将曝光水平为1-2的图像定义为曝光不足图像，其余图像定义为过度曝光图像。对于SICE数据集，我们将YCbCr空间的Y通道上低于地面实况的平均亮度定义为曝光不足图像，其余图像用作曝光过度图像。
**基线。**为了评估DAConv在图像曝光校正方面的优越性和通用性，选择了九种公共方法进行评估，包括：RUAS[20]、Zero DCE[11]、RetinexNet[30]、U-Net[26]、DRBN[34]、SID[5]、MSEC[2]、ENC[14]和FEMNet[15]。对于微光图像增强，选择了六个基线进行评估，包括：Zero DCE[11]、U-Net[26]、DRBN[34]、SID[5]、MSEC[2]和ENC[14]。
实施细节。在所有实验中，我们保持训练设置（例如，损失函数、批量大小、训练历元和活动函数）与原始设置相同，只是TConv被DAConv代替。

这个卷积，我在想我能不能用呢，这个是不是即插即用的卷积呢？？？这个很重要。

4.2.消融研究 消融实验主要运用所提出的卷积的有效性
为了证明DAConv的有效性，我们将DAConv与以下设置进行了比较：（a）串行的DA和CA；（b） CA和DA串联；（c） TConv和TConv并联；（d） DA和TConv DA并行。“TConv DA”表示TConv的响应减去DA的响应；（e） TConv和DA并行；（f） TConv和CA并行；（g） 不含α的DAConv。从（a）到（g）的设置分别表示为DA+CA、CA+DA、TConv//TConv、DA//TConv DA、TConv//DA、TConv//CA和w/oαDA//CA。我们选择MSEC[2]作为基线，并用上述设置替换网络中的每个TConv。实验在ME数据集上进行，结果如表3所示。

我们可以观察到，串行连接的性能远低于并行连接。原因是差分运算会丢失低频分量，导致下一层无法获得足够的信息进行校正。DA//（TConv DA）的性能低于w/oαDA//CA，这表明从TConv的响应中减去DA的响应无法获得准确的统计特征。TConv//TConv的性能高于基线。这是因为参数的数量增加了一倍，并且表示能力得到了提高。然而，TConv/TConv的性能低于TConv//DA和TConv//CA。这是因为DA和CA可以明确地指导细节和对比度建模。因此，通过DA和CA的并行组合（即w/oα&DA//CA），可以进一步提高曝光校正性能。为了平衡对比度增强和细节恢复，我们进一步为每个分支引入了动态调整系数（即w/α&DA//CA），这在所有设置中实现了最佳性能。

4.3.定量结果
在表2中，我们报告了九种曝光校正方法在ME数据集和SICE数据集上的PSNR/SSIM性能。我们可以观察到，在使用DAConv后，大多数方法的性能都得到了全面提高，这表明我们提出的DC是鲁棒的，可以嵌入到各种网络架构中。值得一提的是，无监督算法，如Zero DCE[11]和RUAS[20]，在使用DAConv后也得到了改进，表明DAConv对网络学习方法不敏感。对于专注于细节恢复的MSEC[2]，DAConv仍然提高了其感知细节和对比特征的能力。即使对于MSEC[2]、FECNet[15]和ENC[14]等SOTA算法，使用DAConv仍然可以提高网络性能并实现新的SOTA性能。为了更好地展示实际多重曝光条件下的性能，如[14]所示，我们计算了所有曝光不足和曝光过度图像的平均性能，如图所示。1。我们可以观察到，使用DAConv后，每种方法的性能都得到了全面的提高。

表2。九种图像曝光校正方法在ME数据集和SICE数据集上的定量结果。粗体表示基于DAConv的方法的性能。粗体表示与基线相比我们的无成本改进。粗体表示使用DAConv后的轻微退化。请注意，基于DAConv的方法标记为粗体*。
在表4中，我们报告了六种方法在公共LOLV1、LOL-V2-Real和LOLV2合成数据集上的PSNR/SSIM性能。特别是，LOLV1和LOL-V2Real数据集是在真实的黑暗环境中捕获的，丢失了许多图像细节，如图所示。4。与TConv相比，DAConv可以更好地感知图像细节纹理，显著提高网络性能。例如，在使用DAConv后，LOLV1数据集上MSEC的PSNR/SSIM得分从18.845/0.679提高到20.895/0.748。此外，所有这些性能增益都是免费的，而不会引入额外的计算成本。因此，DAConv可以用作通用计算单元，与各种网络结合，以提高微光图像增强性能。。

表4。LOLV1、LOL-V2-R和LOL-V2-S数据集的定量比较。粗体表示与现有方法相比，我们进行了无成本改进。使用DConv后，可以全面提高基线的性能。

4.4.定性结果
图3显示了在SICE数据集的曝光不足图像上使用DAConv之前和之后的视觉比较。

由于篇幅限制，我们只展示几种方法的曝光校正结果。补充材料中提供了更多的结果。我们可以观察到，基于TConv的方法存在细节模糊和颜色失真的问题，尤其是在图中的红框中。3，而基于DAConv的方法在细节恢复和对比度增强方面更好。对于丢失了大量图像细节的真实暗场景，我们的DAConv仍然可以在提高图像对比度的同时提高图像细节，如图4所示

图5显示了ME数据集过度曝光图像的可视化结果。可以看出，在过度曝光的图像背景中，建筑区域的细节已经严重受损。基于TConv的网络分离亮度的过程。

增强和细节恢复，破坏了它们之间的内在关系，并导致这些区域过于平滑。然而，基于DAConv的算法在每个卷积处使用解耦和聚合机制，可以充分利用它们之间的相互关系，在进行对比度增强和细节恢复的同时实现平衡。

4.5性能分析
**功能可视化。**为了验证DAConv能够明确地捕捉图像细节和对比度相关信息，我们在同一场景中选择曝光过度和曝光不足的图像，并分别可视化DAConv中CA和DA的特征图，如图所示。6。对于曝光不足的图像，CA可以感知亮度分布，并更关注暗区，而DA专注于提取结构特征。对于过度曝光的图像，CA更关注过度曝光的区域。

图6。CA和DA的特征可视化，可以分别捕捉图像亮度分布和图像细节
这好难看出来啊？？

**详细错误映射。**为了验证DAConv在细节恢复方面的优越性，我们以ENC为基线，进行了以下实验。首先，我们随机选择100对曝光不足和曝光过度的图像ENC和ENC*的增强结果。其次，在[2]之后，我们通过拉普拉斯图像金字塔将图像分解为细节层，表示为级别1、级别2和级别3。最后，我们计算不同层的平均PSNR得分，如图7（a）所示。我们可以观察到，DAConv在细节恢复方面明显优于TConv，尤其是对于微小纹理（即3级）。我们进一步可视化了每一层与相应GT之间的误差图，如图7（b）所示。我们可以观察到，DAConv的误差远低于TConv，这表明DAConv可以提高现有网络的细节恢复能力。
拉普拉斯图像金字塔将图像分解为细节层，表示为级别1、级别2和级别3。
**运行时间。**我们选择ENC作为基线，并比较1000张1024×1024分辨率的图像在聚合前后的平均推理时间，如表5所示。聚合后，DA和CA可以合并为卷积核，使推理时间与原始网络相同。

5.结论与限制

结论本文提出了一种新的用于图像曝光校正的解耦和聚合卷积（DAConv），它可以明确地指导对比度和细节建模。DAConv可用于替代现有基于CNN的曝光校正网络中的TConv。在曝光不足和曝光过度数据集上进行的大量实验验证了DAConv在对比度增强和细节恢复方面的有效性。它可以显著提高现有方法的性能，同时保持与原始网络相同的计算成本。
限制在本文中，我们建议使用DAConv来取代现有网络中的TConv，以提高图像曝光校正性能。然而，将DAConv与现有的基于TConv的网络相结合可能不是最佳选择。未来，我们将设计一个新的框架，以充分利用DAConv的图像曝光校正能力。

代码复现 ：后期会发布。

总结文章的思路：
可借鉴的思路：他这个DAConv如果可以的话，确实是可以应用在很多图像增强的方法的网络框架上。