白平衡（Color Constancy，无监督AWB）：CVPR2019论文解析

白平衡（Color Constancy，无监督AWB）：CVPR2019论文解析

Quasi-Unsupervised Color Constancy

论文链接：

http://openaccess.thecvf.com/content_CVPR_2019/papers/Bianco_Quasi-Unsupervised_Color_Constancy_CVPR_2019_paper.pdf

摘要

本文提出了一种计算颜色恒常性的方法，即训练一个深卷积神经网络来检测彩色图像中转换成灰度后的消色差像素。该方法不需要任何关于场景中光源的信息，并且依赖于弱假设，几乎所有网络上可用的图像都填充了该假设，即训练图像已大致平衡。由于这一要求，本文将本文的方法定义为准无监督。经过训练后，神经网络的输入经过初步的灰度转换，可以对不平衡图像进行处理。大量实验结果表明，该方法能够在现有技术条件下优于其他无监督方法，同时具有足够的灵活性，能够被监督地调整以达到与最佳监督方法相当的性能。

1. Introduction

计算色彩恒常性是一个长期存在的问题，它包括校正图像，使其看起来像是在中性光源下拍摄的。计算色彩恒常性有助于解决许多计算机视觉问题，如视觉识别[14]、监视[22]等，其中色彩是区分物体的重要特征。尽管这个问题表面上很简单，但它对人类和计算机视觉系统来说都是非常具有挑战性的[25，20]。在过去的十年里，本文解决许多计算机视觉问题的能力有了显著的提高。这背后的主要因素是深度学习算法的发展，使其能够遵循非常有效的数据驱动方法[35]。因此，有人曾多次尝试利用这种机器学习范式来实现计算色彩恒常性，这并不奇怪[7，37，28，38]。然而，在本文看来，这些方法只是部分地利用了深度学习的潜力。

将深度学习方法应用于颜色恒常性的主要困难在于缺乏用基本真实光源注释的大型数据集。事实上，用于此目的的数据集通常是通过拍摄放置了具有已知色度特性的标准对象（例如彩色目标）的场景来获得的。这个程序对于收集监督深度学习所需的大数据集显然是不切实际的。基于机器学习的颜色恒常性方法的另一个问题是，所学习的模型通常专门用于使用用于收集训练集的相同设备获取的图像。它们应用于其他设备拍摄的图像需要某种形式的适应或再训练[2]。本文提出了一种基于深卷积神经网络的颜色恒常性计算方法。该方法利用公共可用图像的大数据集，以准监督的方式训练网络。不需要关于光源颜色的基本事实。相反，该方法利用了这样一个假设，即训练图像已经被手动或未指定的自动处理管道大致平衡。由于这一假设（正如本文将看到的，在实践中很容易实现），本文将本文的方法定义为“准无监督”，而不仅仅是“无监督”。更详细地说，训练神经网络来检测消色差像素。为此，只考虑输入图像的灰度版本。这样，输出与光源的实际颜色无关，因此，该网络可以稍后应用于平衡和不平衡图像。

检测像素的加权平均值是最终用于校正输入彩色图像的光源的估计值。本文通过在三个常用于图像识别和检索的大数据集上训练几个神经网络，验证了该方法的可行性。对两组带注释的原始图像数据集的评估表明，即使没有这些数据集的图像用于训练，也可以获得非常精确的结果。该方法的新颖设计决定了其相对于现有竞争方法的显著优势：（i）该方法利用复杂的神经网络结构，而不需要大量的带注释图像训练集；（ii）训练后的模型可以应用于任何摄像机获取的不平衡图像，而无需任何形式的适应。尽管设置复杂，但与文献中报道的相比，在估计光源方面的精度是有利的。特别地，所提出的方法能够优于现有技术中的其他无监督方法。此外，它还可以选择性地支持对特定数据集进行有监督的精确调整，使其能够达到与最佳有监督方法相当的性能。

2. Related work

目前最先进的计算颜色恒常性方法通常分为两类：基于统计的方法和基于学习的方法。前一类方法对自然场景的统计