灰度图着色

       输入灰度图，输出彩色图片。这个问题显然是欠约束的，所以以前的方法要么依赖于显著的用户交互，要么导致不饱和的着色。我们提出了一个全自动的方法，产生生动和逼真的色彩。我们通过将问题设置为分类任务来接受潜在的不确定性，并在训练时使用类重新平衡（ class-rebalancing ）来增加结果中颜色的多样性。

       该系统被实现为一个CNN测试中的前向传播过程（The system is implemented as a feed-forward pass in a CNN at test time），并接受了超过一百万彩色图像的培训。我们使用“着色图灵测试”评估这个算法，要求人类参与者在生成的真彩色图像和地面真彩色图像之间进行选择。我们的方法在32%的试验中成功愚弄了人类，明显高于以前的方法。此外，我们还表明，彩色化可以作为一种跨通道编码器（cross-channel encoder），成为自监督特征学习的有力依据。这种方法可以在几个特性学习基准上获得最先进的性能。

一、介绍

     过去的灰度图着色往往使用CNN，但是CNN的损失函数目的在于最小化预测值和真实值之间的欧式误差，它的预测结果可能有很高的不饱和性。

   相反，我们使用一种针对着色问题的损失。我们在训练时重估损失，以强调特殊的颜色。这鼓励我们的模型充分开发它所训练的大规模数据的多样性。最后，我们利用分布的退火平均值（annealed-mean）进行了最终的着色。

    我们还表明，我们的系统的颜色是足够真实的，可以使用现成的vgg网络，用于下游任务，特别是对象分类。

 

此外，我们还探讨了颜色化作为一种自我监督的表示学习形式，其中使用原始数据作为自己的监督来源。最近的工作已经探索了通过数据计算来进行特征学习，其中预测了完整数据的一个被保留的子集。

 

我们在这篇论文中的贡献有两个方面。

首先，我们通过

(A)设计一个适当的目标函数来处理图像着色的多模不确定性并捕捉到多种颜色，

(B)引入了一种新的彩色化算法测试框架，该框架可能适用于其他图像生成任务，以及

(C)通过对一百万张彩色照片进行训练，在任务上设置一个新的高水区标记。

其次，我们将彩色化任务作为一种具有竞争力和直截了当的方法来进行自我监督的表示学习，在几个基准上取得了最先进的结果。

1.1 彩色化的前期工作

彩色化算法在获取和处理灰度与颜色对应数据的方法上存在很大的差异。对于给定输入灰度图像，非参数方法首先定义一个或多个颜色参考图像(由用户提供或自动检索)作为源数据。然后，按照图像类比框架[17]，将颜色从参考图像的类似区域[18，19，20，21]转移到输入图像上。另一方面，参数方法则在训练时从大量彩色图像数据中学习预测函数，使问题要么回归到连续颜色空间[22，1，2] ，要么量化颜色值的分类。我们的模型还学习分类颜色，但我们在实现颜色模型时，使用更大的模型，在更多的数据上进行训练，并且在损失函数和映射到最终的连续输出上都进行了一些创新。

1.2 彩色化并行工作

与此同时，有人（ Larssonet al. [23] and Iizuka et al. [24]）利用大规模数据和CNN开发了相似的系统。他们的CNN架构和损失函数与我们不同。我们用的是包涵再平衡稀有类的分类损失（we use a classification loss, with rebalanced rare classes），Larsson用的是非再平衡分类损失，I 用的是回归损失。在3.1节中，我们结合我们的体系结构比较了每种类型的损失函数的效果。

CNN结构也有所不同，L用的是VGG网络上的超列[25]，I用的是将全局和本地特性融合在一起的两流体系结构。我们使用一个单流，vgg样式的网络，增加深度和膨胀的卷积。

以及，我们和L在ImageNet上训练的，I在Places上训练的。在3.1节中，我们提供了对Larsson等人的定量比较，并鼓励有兴趣的读者研究这两篇论文。

二、方法

        我们训练CNN使用图2所示的体系结构，将灰度输入映射到量化颜色值输出的分布。我们的项目网页（http://richzhang.github.io/colorization/）的补充材料中描述了体系结构细节，并且该模型是公开的。在下面，我们重点讨论了目标函数的设计，以及从预测的颜色分布中推断出颜色的点估计。