本文介绍了两种基于深度学习的灰度图像着色方法。第一种方法将着色视为多模式分类问题，利用CNN模型学习映射，通过类重平衡增加着色多样性。第二种方法重新定义着色为匹配问题，结合自适应图像聚类和深度神经网络，使用联合双边滤波进行后处理，确保无畸变。实验结果显示，这两种方法都能产生逼真的色彩，但也存在一些挑战，如长距离一致性、颜色混淆等。
用于灰度图像着色是一种空间内插，即8比特的灰度空间扩展到24比特的RGB空间。下面以两篇文章为引子解释深度学习的应用。
论文【1】是一种全自动方法从灰度产生逼真的色彩。针对着色问题的潜在不确定性，它将其作为分类任务并在训练时使用类重平衡（class-rebalancing）来增加着色的多样性。
首先，颜色空间表示如图所示，（a）量化的ab颜色空间，网格大小为10，在色域中总共313个ab对；（b）对数尺度表示的ab值经验概率分布；（c）对数尺度表示的以L为条件的ab值经验概率分布。这里将着色看出一个多模式分类问题，其中颜色ab输出空间量化为网格大小为10的区间，并保持色域内的Q = 313值。 给定输入X，学习映射Z = G（X），输出到可能颜色Z∈[0,1] H×W×Q的概率分布，其中Q是ab值的量化级数。
为了比较预测的Z^与基础事实（GT），定义函数Z = H gt -1（Y），用软编码方案将GT颜色Y转换为矢量Z。然后，多模式交叉熵损失Lcl（·，·）定义如下：
通过基于像素颜色稀有度，在训练时重新加权每个像素的损失来解决类别不平衡（class- imbalance）问题，这渐近地等同于典型的重采样训练空间方法。基于其最接近的ab格，每个像素由因子w ∈RQ加权。
如图所示是网络架构图，训练该CNN模型从灰度输入映射到输出量化颜色值的分布。每个conv层是2或3个重复的卷积层和ReLU层的块，然后是批处理归一化（BN）层，没有池化层。分辨率的所有变化都是通过conv块之间的空域下采样或上采样实现。
如下两个图和是一些实验结果：重平衡的分类损失比无重平衡的回归损失或分类损失的结果更准确，更有活力。第一个图是成功的着色结果。第二个图是失败的例子，常见故障如下：无法捕捉长距离一致性、频繁的红蓝色混淆以及复杂室内场景默认的棕褐色调。
论文【2】也是一种全自动着色方法，不同的是，它重新定义了着色为匹配问题；可更好地利用全局图像信息，采用自适应图像聚类技术；为了确保无畸变，采用基于联合双边滤波（joint bilateral filtering）的后处理方法。
如图所示是采用大型参考图像数据库和深度学习着色法的直观图。（a）给出通过自适应图像聚类技术被分为各种类的参考图像，用于每个类训练深度神经网络（DNN）。（b）着色方法和DNN架构。给定灰度，首先自动探索最近的类和相应训练的DNN。在每个像素提取特征描述子用作神经网络的输入。神经元对的连接与参考图像数据库学习的权重相关联。输出是相应像素的色度，可以直接与灰度组合得到相应的颜色值。训练模型计算出的色度可能在低纹理区域周围有点噪声，使用联合双边滤波器（输入灰度图像为指导）可以降低噪声。
参考文献
1. R Zhang, P Isola, A Efros,“Colorful Image Colorization”，arXiv 1603.08511, 2016
2. Z. Cheng, Q. Yang, and B. Sheng. “Deep colorization”. IEEE ICCV, 2015
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
