【Semi-Supervised Raw-to-Raw Mapping 半监督 Raw-to-Raw 映射】

图 1：我们引入了一种半监督的 raw-to-raw 映射方法。该图显示了 iPhone X 智能手机相机拍摄的原始图像和我们到三星 Galaxy S9 智能手机相机原始空间的映射结果，以及三星 Galaxy S9 拍摄同一场景的参考图像。对于每个图像，我们都显示原始图像和相机 ISP 渲染图像。显示的图像来自我们的数据集。请注意，原始拜耳原始图像被打包到 RGGB 通道。为了帮助可视化，对绿色通道进行平均（即三通道 RGB 图像），并应用具有 1/1.6 编码 gamma 的 Gamma 操作。这适用于本文其余部分的原始可视化。
Abstract
由于不同传感器品牌和型号的光谱敏感度不同，相机传感器的原始RGB颜色也不同。本文重点讨论不同传感器原始RGB颜色空间之间的映射任务。以前的工作是通过成对校准来解决这个问题，以实现精确的颜色映射。虽然准确，但这种方法不太实用，因为它需要：（1）由两个相机设备捕捉一对图像，并在每个新场景中放置一个颜色校准对象；（2）准确的图像对齐或手动注释颜色校准对象。本文旨在通过一个更实用的设置来解决原始空间的色彩映射。具体来说，我们提出了一种半监督的原色到原色的映射方法，该方法是在一小部分配对的图像以及由每个相机设备拍摄的未配对的图像集上训练出来的。通过广泛的实验，我们表明我们的方法与其他领域的适应性方案相比，除了单一的校准方案外，还取得了更好的结果。作为这项工作的一部分，我们从两个不同的智能手机摄像头生成了一个新的原始图像数据集。我们的数据集包括用于我们的半监督训练和评估的无配对和有配对的集合。
1 Introduction and Related Work
相机图像信号处理器 (ISP) 应用一组操作将捕获的图像从相机的内部原始空间渲染到标准显示色彩空间（例如，标准 RGB，或简称 sRGB）。虽然 sRGB 空间中的颜色可能因相机而异，但在不同相机设备捕获相同场景时，也可以观察相机原始空间中的颜色差异。这些颜色差异背后的原因可以从原始图像形成中理解。在数学上，原始图像 的构造可以描述如下 [6]：

其中 c = {R,G,B}，x 表示 I 中的像素位置，γ 和 ρ(·) 分别是可见光谱和场景照明的光谱功率分布。捕获的物体光谱反射特性由 R(·) 表示，S(·) 是指相机传感器在波长 λ 处的灵敏度。请注意， 为简单起见，我们在方程式1中省略了图像噪声。因为我们在本文中的重点主要与原始颜色有关。从公式1可以看出，如果相机A和相机B拍摄同一场景，产生图像IA和IB（假设它们完全对齐），如果相机A和B的相机传感器灵敏度S相同，则IA和IB中的最终颜色会相似。通常情况下，这种情况很少发生，特别是当不同的供应商生产的相机传感器。因此，即使在相同的照明条件下拍摄同一场景，IA和IB也可能有不同的颜色[14]。同样清楚的是，由于 AAA 在可见光谱 γ 上的积分，相机A和B产生的颜色差异在不同场景/照明条件下可能有不同程度的变化。
Raw-to-raw 映射旨在减少 图像IA 和 IB 中的色差，它对相机 ISP 制造很有用，如下所述。首先，原始到原始映射对于任何使用原始图像的基于相机 ISP 学习的模块中的数据生成都很有用。例如，先前的工作 [3, 4, 11, 19] 表明，用于数据增强目的的颜色映射可以提高原始图像中颜色恒定性的准确性。
其次，相机ISP包括不同的精心校准的模块，这些模块与设计这种模块时使用的相机传感器空间有内在联系。当一个相机制造商推出一个具有不同光谱灵敏度的新传感器时，这些经过调整的相机ISP模块应该适应这个新传感器的光谱灵敏度[13, 17, 23]。毋庸置疑，这个适应过程往往需要收集新的标记数据和一些相应的标注。这个过程很繁琐，因此，在摄像设备中部署一个新的传感器仍然是一个挑战，需要大量的人力投入。
为了避免在采用新的传感器时产生新的标记数据，最近的工作[18]提出将新的传感器原始图像的颜色直方图映射到用于训练照度估计相机ISP模块的原始传感器空间。然后，估计的光照颜色被投射回新的传感器空间。在[18]的基础上，我们可以：(1)将标记的训练ISP图像从旧的传感器空间映射到新的传感器空间，因此重新训练对所有基于学习的ISP模块都是可行的；或者(2)通过将所有图像映射到这个特定的传感器空间，设计一个 “通用的相机ISP”。图1显示了一个 "通用相机ISP "的想法的例子，我们用我们的方法将iPhone的原始图像映射到目标传感器后，通过一个为渲染三星原始图像而设计的ISP渲染。
尽管它很重要，但大多数先前的工作都集中在色度校准上（例如，[5,9,10,12]）。缺乏与原始到原始映射相关的先前工作。据我们所知，Nguyen 等人 [20] 首次尝试了 raw-to-raw 映射，并表明最初提出用于色度校准的经典颜色映射方法可用于 raw-to-raw映射。具体来说，Nguyen 等人 [20] 提出计算成对的 raw-to-raw 校准以将图像 IA 映射到图像 IB，取得了非常有希望的结果。这种映射可以表示如下：

其中 r(·) 和 g(·) 是重塑函数，分别将图像表示为 3×n 和 h×w×3。 n = hw 是每幅图像的像素总数，M 是颜色映射矩阵，φ (·) 是核函数。为了计算 M，Nguyen 等人。 [20] 使用在每个场景中捕获的颜色校准图表并计算特定场景的映射矩阵。 [20] 中的工作研究了计算这种映射的不同方法，包括多项式和恒等核函数。尽管准确，但这种成对校准方法在实际场景中的适用性有限，因为它需要为每个新场景捕获和注释校准对象。此外，用于映射的颜色图表具有有限数量的颜色样本（即典型的 24 色棋盘格图表）。
Contribution
本文讨论了一种实用的原始到原始映射，设置简单易用。特别是，我们提出了一种半监督训练，可以从非常小的一组配对图像中学习一个合理的原始到原始映射，而不需要计算每个场景的校准（见图 1）。除了这个小的配对集之外，我们还利用每个相机设备捕获的另一组未配对图像（即，需要最少的捕获工作而没有注释）来改进我们的映射。由于收集这种不成对的集合非常可用，我们相信我们的方法是第一个为这个问题提出实用设置的方法。通过广泛的评估，我们表明我们的方法与其他领域适应替代方案（例如，[21,26,27]）相比取得了更好的结果。为了能够对我们的新方法进行训练和评估，我们收集了由两个不同的智能手机摄像头（即 iPhone X 和三星 Galaxy S9）捕获的原始图像的新数据集。
2 Methodology
我们方法的概述如图 2 所示。如图所示，我们建议通过深度学习框架将原始图像从相机 A 映射到相机 B。我们的框架包括两个编码器-解码器网络，每个网络都专用于我们的一个相机。我们使用两个不同的训练集：（i）一小组配对图像，即所谓的“锚集”和（ii）由相机 A 和 B 拍摄的更大的未配对图像集。
在每个迭代中，我们使用这两组数据中的每一组来优化两个网络。当训练数据来自非配对集时，我们在标准的编码器-解码器重建任务上对我们的网络进行惩罚。相反，当训练数据来自于锚定集时，我们应用一个潜意识规范化步骤，以鼓励两个网络的编码器为两台不同相机A和B拍摄的每一对图像产生类似的潜意识表征。在推理阶段。