颜色恒常性CVPR2020 Multi-Domain Learning for Accurate and Few-Shot Color Constancy阅读笔记

最新推荐文章于 2025-04-15 10:48:44 发布

Even_ISP_Color

最新推荐文章于 2025-04-15 10:48:44 发布

阅读量3k

点赞数 2

分类专栏：颜色恒常性

本文链接：https://blog.csdn.net/u011330902/article/details/113770988

版权

本文提出了一种多域学习颜色恒常性（MDLCC）方法，利用多域学习来提高不同设备的颜色一致性性能。通过共享特征提取和特定设备的通道重加权模块，MDLCC在三个基准数据集上取得最先进的颜色恒定性性能，并在少量镜头情况下表现出色。这种方法解决了训练数据不足和设备间差异的问题，提高了颜色恒常性的准确性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原文引用：Xiao J , Gu S , Zhang L . Multi-Domain Learning for Accurate and Few-Shot Color Constancy[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2020.

作者提示：配合原文使用

全文翻译

摘要

色彩恒常性是摄像机流水线中消除场景光照引起的图像偏色的一个重要过程。近年来，利用深度神经网络（DNNs）在色彩恒常性精度方面取得了显著的提高。然而，现有的基于DNN的颜色恒定性方法学习不同摄像机的不同映射，这需要对每个摄像机设备进行昂贵的数据采集过程。本文开创性地将多领域学习引入到色彩恒常性领域。对于不同的摄像机设备，我们训练了一个共享同一特征提取和光源估计器的网络分支，并且只使用摄像机特有的信道重加权模块来适应摄像机特有的特性。这种多域学习策略使我们能够从跨设备的训练数据中获益。提出的多域学习颜色恒常性方法在三个常用的基准数据集上取得了最新的性能。此外，我们也在少数镜头的颜色恒常性设定下验证了所提出的方法。给定一个新的不可见设备和有限数量的训练样本，我们的方法能够提供准确的颜色恒常性，只需学习相机特定参数从少数镜头数据集。

介绍

人类视觉系统自然具有对场景中不同光源进行补偿的能力，称为色彩恒常性。相机拍摄的图像的颜色很容易受到不同光源的影响，在阳光下可能呈现“蓝色”，在室内白炽灯下则呈现“黄色”。为了从捕获的图像中估计场景的亮度，颜色恒定性是摄像机流水线中校正捕获图像颜色的一个重要单元。

经典的颜色恒常性方法利用图像统计或物理特性来估计场景的光源。这些方法的性能高度依赖于假设，如果假设不成立，这些方法就会动摇[31]。在过去的十年中，另一类方法，即基于学习的方法，变得越来越流行。基于早期学习的方法[20,15]采用手工制作的特征，只从训练数据中学习估计函数。受深部神经网络（DNN）在其他低水平视觉任务中的成功[25，24，16，38]的启发，最近提出了基于DNN的方法[9，37，26]联合学习图像表示和估计函数，并达到了最先进的估计精度。

基于DNN的方法直接学习输入图像与地面真光源标签之间的映射函数。在给定足够的训练数据的情况下，他们能够利用高度复杂的非线性函数来捕捉输入图像与相应光源之间的关系。然而，为了训练颜色恒常性网络而获取的数据往往是昂贵的：首先，图像中的每一幅图像都包含有物理定标对象，在各种各样的场景下，必须采集不同的光源；然后，需要通过相应的定标对象来估计每幅图像中的地面真实光源。此外，由于来自不同摄像机的原始数据呈现不同的分布，现有的基于DNN的颜色恒定性方法假设每个摄像机都有一个独立的网络，因此需要为每个摄像机提供大量的标记图像。由于上述原因，现有的基于DNN的颜色恒常性方法的容量在很大程度上受到训练数据集规模的限制。在训练数据不足的情况下，为了提高颜色恒常性模型的性能，人们做了大量的尝试。

本文提出了一种多域学习颜色恒常性（MDLCC）方法，用于从不同的数据集和设备中获取颜色恒常性数据。受传统成像管道的启发，MDLCC使用相机特定的估计函数从常见的低级特征中估计图像亮度，MDLCC采用相同的特征提取器从输入的原始数据中提取低级特征，并使用特定于摄像机的通道重加权模块将特定于设备的特征转换为公共特征空间，以适应不同的摄像机。通用特征提取器从不同的设备中提取数据，我们用来自不同域的数据训练特定于设备的信道重加权模块以进行域适配。这样的策略使我们能够解决不同摄像机之间的CSS差异，同时利用不同的数据集来训练更强大的深层特征提取器。提出的MDLCC框架通过一个更大的数据集学习每个网络中的大部分网络参数，这显著提高了每个摄像机的颜色一致性精度。

除了提高已有大量标记数据的成熟设备的颜色一致性性能外，我们的多域网络架构还使我们能够轻松地使我们的网络适应新的cam时代。由于一个新的摄像设备的标记样本数不足，MDLCC只需要学习设备的特定参数，而且大部分网络参数都是从大规模数据集上训练的元模型中继承的。最近的一篇论文[31]研究了这样几个镜头的颜色恒常性问题。Mc-Donagh等人[31]利用元学习技术[19]学习了一个更容易适应新相机的颜色恒常网络。然而，由于[31]仍然需要对少镜头数据集上的所有网络参数进行微调，因此它仅在少镜头设置下实现了有限的光源估计性能。相比之下，本文提出的MDLCC算法只需从少量的数据集中学习少量的参数，就能获得较高的少镜头估计精度。

我们的主要贡献总结如下：

本文开创性地利用多域学习的思想来提高颜色恒常性。
我们提出了一个特定于设备的信道重加权模块，以适应不同领域的特征到一个共同的估计器。这使得我们可以对不同的相机使用相同的特征提取和光源估计模块。
所提出的MDLCC在基准数据集[36]、[14]和[3]上实现了最先进的颜色恒定性性能，无论是在标准设置还是少量设置上。

多域学习颜色恒常性

在这一节中，我们将介绍我们提出的多域学习颜色恒常性（MDLCC）方法。我们从颜色恒常性问题的公式和我们的MDLCC模型的目标开始。然后，介绍了MDLCC的网络结构，以及如何利用MDLCC解决少镜头颜色恒定性问题。

问题表述

我们主要研究单光源的颜色恒常性问题，假设场景光源是全局的、单一的。在朗伯假设下，图像形成可以简化为：

$\mathbf{Y}_{c}=\Sigma_{n=1}^{N} \mathbf{C}_{c}\left(\lambda_{n}\right) \mathbf{I}\left(\lambda_{n}\right) \mathbf{R}\left(\lambda_{n}\right), c \in\{r, g, b\}$