【光照增强论文略读】Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement

这篇题为《用于低光照图像增强的零参考深度曲线估计》的论文介绍了一种名为Zero-DCE的创新方法，用于增强低光照图像。其主要创新点在于，它在训练过程中不需要成对或非成对的参考图像，因此是一种“零参考”方法。通过轻量级深度学习模型DCE-Net，该方法能够估计逐像素的高阶曲线，实现图像的增强。

本文的主要贡献包括：

1. 将低光照增强重新定义为曲线估计问题，而不是传统的图像到图像转换。
2. 提出了无需参考图像训练网络的非参考损失函数集合。
3. 开发了一个高效且轻量的网络，能够实时运行，并在不同的光照条件下表现出竞争力。

该方法能够很好地适应各种光照条件，保持增强后图像的自然外观，并且在低光环境下提升了诸如人脸检测等高级任务的表现。论文还从定性和定量角度展示了Zero-DCE相较于现有方法的优势。

贡献的第一点：将低光照增强重新定义为曲线估计问题，而不是传统的图像到图像转换

传统的低光照图像增强方法通常使用图像到图像的映射，即通过直接从输入的低光照图像生成增强后的图像。这类方法需要依赖大量的训练数据来学习这种映射关系，而且往往需要成对的低光照和正常光照图像来训练模型。

在Zero-DCE中，作者提出了一种新思路，将低光照图像增强重新定义为图像特定的曲线估计问题。具体而言，模型的目标是生成一组高阶曲线，这些曲线应用于输入图像的每个像素，以调整动态范围，提升图像亮度。这样做的好处是通过调整像素值的映射曲线来增强图像，而不是直接进行复杂的图像到图像转换。这种方式可以更好地保留图像细节，并减少常见的过度增强或失真现象。

贡献的第二点：提出了无需参考图像训练网络的非参考损失函数集合

许多现有的深度学习方法需要成对或非成对的参考图像来监督训练，通常需要大量的标注数据，如低光照图像及其相应的正常光照图像。这种依赖参考图像的数据驱动方法存在数据收集困难、训练数据量大的问题，并且可能会导致模型在处理未见过的数据时表现不佳。

Zero-DCE的一个重要创新是引入了一组非参考损失函数，这些损失函数无需使用任何参考图像来评估图像增强的质量。具体而言，作者设计了四种非参考损失函数，分别是空间一致性损失、曝光控制损失、颜色恒常性损失和光照平滑损失。通过这些损失函数，网络可以在没有成对数据的情况下学习图像增强任务。这不仅降低了对数据的依赖，还提高了模型的泛化能力，使得Zero-DCE在各种复杂的光照条件下仍能表现出色。

“损失函数无需使用任何参考图像来评估图像增强的质量”的解释

在深度学习的图像增强任务中，通常需要参考图像（比如一张高质量的正常光照图像）来评估模型生成的增强图像的质量，这种方式被称为“监督学习”。模型通过比较输出的增强图像和参考图像之间的差异来调整参数，最终生成高质量的增强图像。然而，获取大量的参考图像可能非常困难，尤其是对于低光照增强任务而言，成对的低光照和正常光照图像并不总是容易获得。

Zero-DCE的创新之处在于，它使用了一组非参考（无需参考图像）的损失函数，这意味着模型在训练过程中并不依赖任何参考图像，而是通过这些特殊的损失函数自行评估增强图像的质量。这些损失函数从不同角度评估增强图像的质量，比如图像的亮度、对比度、颜色等，确保图像在视觉上看起来自然且有足够的亮度和细节。

Zero-DCE中的损失函数

Zero-DCE使用了四种非参考损失函数来帮助模型在没有参考图像的情况下学习如何增强图像：

1. 空间一致性损失（Spatial Consistency Loss, $(L_{\text{spa}}$））

   • 这个损失函数用来保持增强图像中相邻像素之间的亮度差异与输入图像相似。它确保了增强图像中的相邻区域保持一致的对比度和边缘信息，避免增强过程中对比度的过度拉伸或降低。
   • 公式计算邻域像素之间的亮度差异，鼓励增强后的图像在局部区域保持一致。

2. 曝光控制损失（Exposure Control Loss, $(L_{\text{exp}}$））

   • 该损失函数用于控制图像的曝光度，确保图像不会出现过度曝光或曝光不足。它通过比较局部区域的平均亮度与理想的曝光值来限制过亮或过暗的区域。
   • 在实验中，理想曝光值设置为0.6，表示图像中的亮度应该接近中等灰度水平。

3. 颜色恒常性损失（Color Constancy Loss, $(L_{\text{col}}$））

   • 该损失基于“灰世界假设”，即图像中的每个颜色通道平均应该趋向于灰色（即红、绿、蓝通道的平均值应该相近）。该损失函数用来校正增强图像中的颜色失真，确保图像的颜色看起来自然，三通道的颜色关系保持一致。
   • 公式通过比较红、绿、蓝通道的平均值差异，减少颜色偏移。

4. 光照平滑损失（Illumination Smoothness Loss,$(L_{\text{tvA}}$））

   • 该损失函数通过限制光照曲线参数的变化，保持增强图像的亮度变化平滑。它旨在避免增强图像中的光照突然变化，确保光照平滑过渡，从而避免出现不自然的光照效果。
   • 通过计算光照曲线参数的梯度，确保相邻像素的光照调整保持平滑过渡。

这些损失函数共同作用，确保模型在没有参考图像的情况下，仍然能够生成高质量的增强图像，使其看起来自然且细节丰富。