LOW-LIGHT AUTO WHITE BALANCE

相机管线需要执行自动白平衡（AWB）步骤，其中，估计场景的主要照明的颜色并将其用于产生美学上令人愉悦的颜色组合，该组合（看起来）似乎被中性光源照明。白平衡与色彩恒定性，人类视觉（Foster，2011年）和计算机视觉（Gijsenij等，2011年）中存在的问题有关，即降低场景的光源颜色并推断出潜在的材质颜色。由于现代色彩恒定性算法倾向于使用机器学习，因此可以通过在发光体上对其进行训练来使这些算法适合用作AWB算法，这些发光体在去除后会产生令人愉悦的色彩校正图像，而不是在色彩恒定的光源上训练它们，这些光源在移除后会产生垂直中和的图像。“快速傅里叶色彩恒定性”（FFCC）（Barron和Tsai，2017年）是目前性能最高的色彩恒定性算法，在准确性方面（在标准色彩恒定性数据集中（Cheng等人，2014年； Gehler等人，2008年）） 和速度（可在移动设备上以每秒约700帧的速度运行）。FFCC的工作原理是学习并随后将滤镜应用于对数色度像素和边缘强度的直方图，就像其前身技术所做的那样（Barron 2015）。

在低光环境中，白平衡是一个特别具有挑战性的问题，因为照明的类型更加多样化，并且观察到的图像更加嘈杂。 在本节中，我们将介绍如何通过使用新的数据集和新的误差度量进行训练和评估，将FFCC修改为低光摄影的有效AWB算法。在附录C节中，我们记录了我们对FFCC进行的一些其他修改，这些修改与弱光摄影无关，涉及图像元数据和传感器校准。

Dataset

FFCC基于学习，因此其性能在很大程度上取决于培训期间使用的数据的性质。 尽管有公开可用的颜色数据集（Cheng等人，2014； Gehler等人，2008），但这些目标对象具有恒定的颜色—客观地中和了场景光源的颜色。这种中和的图像在摄影环境中常常显得不自然或没有吸引力，因为摄影师经常希望在特定设置（例如日落或夜总会）中保留光源的某些颜色。 现有的数据集在极端弱光情况下也缺少图像，并且经常缺少光谱校准信息。为了解决这些问题，我们使用具有校准传感器的移动设备收集了5000个各种场景的图像，这些场景具有广泛的光照水平。 我们没有使用色彩检查器或灰卡来恢复每个场景的“真实”（在物理上正确）光源，而是根据他们的判断，招募专业摄影师为每个场景手动“标记”最美观的白平衡。为此，我们开发了一种交互式标签工具，允许用户手动选择图像的白点，同时看到由相机的完整原始处理管道产生的真实最终渲染。在标记过程中匹配设备上的渲染至关重要，因为在图像处理过程中，其他步骤（例如局部色调映射，曝光和饱和度）可能会影响美学偏好的颜色。 附录C部分显示了我们的标记工具和部分训练数据。

Error metrics

在某些光线较暗的环境中，用于颜色恒定性的传统误差度量会出现不稳定现象，这需要我们为此任务设计自己的误差度量。 明亮的环境通常主要由太阳照射，因此在明亮的环境中拍摄的图像的真实照明度通常接近白色。 相比之下，低光照环境通常会被重度着色的光源照亮-篝火，夜总会，钠蒸气灯等。这似乎是由于社会学和技术趋势（在黑暗环境中流行彩色霓虹灯）和黑体辐射的本质（昏暗的灯光呈红色）共同造成的。色彩强烈的光源意味着真正的白平衡图像可能包含像素值，其中所有像素的色彩通道强度都接近零，例如图12a中的图像。 当评估或训练白平衡算法时，这是有问题的，白平衡算法通常根据它们恢复光源的所有颜色通道的能力来评估。

 

TONE MAPPING

将图像的动态范围压缩到输出的动态范围的过程称为“色调映射”。在相关文献中，这通常是通过应用色调映射运算符（TMO）来实现的，它们的意图有所不同：一些TMO试图忠实于人类视觉系统，而另一些TMO试图生成艺术专家主观上偏爱的图像。 （Eilertsen等人，2016； Ledda等人，2005）对TMO的各种意图进行了评估。

图13描绘了不同光照水平下的人类视敏度。我们的TMO的目的是即使在弱光环境下也能渲染出充满活力和色彩鲜艳的图像，从而在中视和暗视照明水平下实现类似照像的视觉效果。 尽管TMO能够在颜色敏感的锥介导的机制中模拟人类视觉系统，但由于存在复杂的生理现象，模拟杆介导的机制更具挑战性（Ferwerda等人1996; Jacobs等人2015; Kirk 和O'Brien，2011年）。

明亮夜间照片的最终外观的显影需要仔细进行。 幼稚的图像增亮会导致例如不希望的饱和区域和低对比度的结果。几个世纪以来，艺术家已经知道如何通过使用深色颜料，增加对比度和抑制阴影来唤起夜视美学（（Helmholtz 1995，最初写于1871年）。 在我们的最终演绎中，我们在（Hasinoff et al。2016）的色调映射上采用了以下精心调整的启发式方法，以保持夜间美感：

允许更高的整体增益来渲染更明亮的照片，但要以减少噪点为代价。
限制阴影的增强，使图像的大量最暗区域保持接近黑色，以保持全局对比度并保留夜间感觉。
允许压缩较高的动态范围，以在挑战性条件下更好地保留高光，例如带有光源的夜景。
以与场景亮度成反比的方式提高色彩饱和度，以在低光照场景中产生鲜艳的色彩。
添加取决于亮度的渐晕。