![eee6e04078a0358e1ba57d1c86916512.png](https://i-blog.csdnimg.cn/blog_migrate/79195ff2a3bb45f281b91993aa2b065d.jpeg)
用于灰度图像着色是一种空间内插,即8比特的灰度空间扩展到24比特的RGB空间。下面以两篇文章为引子解释深度学习的应用。
论文【1】是一种全自动方法从灰度产生逼真的色彩。针对着色问题的潜在不确定性,它将其作为分类任务并在训练时使用类重平衡(class-rebalancing)来增加着色的多样性。
首先,颜色空间表示如图所示,(a)量化的ab颜色空间,网格大小为10,在色域中总共313个ab对;(b)对数尺度表示的ab值经验概率分布;(c)对数尺度表示的以L为条件的ab值经验概率分布。这里将着色看出一个多模式分类问题,其中颜色ab输出空间量化为网格大小为10的区间,并保持色域内的Q = 313值。 给定输入X,学习映射Z = G(X),输出到可能颜色Z∈[0,1] H×W×Q的概率分布,其中Q是ab值的量化级数。
![02ca69e572816c68a627db45770c4412.png](https://i-blog.csdnimg.cn/blog_migrate/3f7b5016d1cca24bf6f2750236131b3d.jpeg)
为了比较预测的Z^与基础事实(GT),定义函数Z = H gt -1(Y),用软编码方案将GT颜色Y转换为矢量Z。然后,多模式交叉熵损失Lcl(·,·)定义如下:
![c3339f41adcd11a60779b14c3507bfe5.png](https://i-blog.csdnimg.cn/blog_migrate/a836fdcc5402c5f1c222085932b3dea8.png)
通过基于像素颜色稀有度,在训练时重新加权每个像素的损失来解决类别不平衡(class- imbalance)问题,这渐近地等同于典型的重采样训练空间方法。基于其最接近的ab格,每个像素由因子w ∈RQ加权。
![6c3d8074680b024da722e32493417c35.png](https://i-blog.csdnimg.cn/blog_migrate/e3669465fec768a399251622eb74b232.jpeg)
如图所示是网络架构图,训练该CNN模型从灰度输入映射到输出量化颜色值的分布。每个conv层是2或3个重复的卷积层和ReLU层的块,然后是批处理归一化(BN)层,没有池化层。分辨率的所有变化都是通过conv块之间的空域下采样或上采样实现。
![7e02da921e3244b6d31efbc3170cecb3.png](https://i-blog.csdnimg.cn/blog_migrate/7290ce556095d0fd34ae5c24651af72d.jpeg)
如下两个图和是一些实验结果:重平衡的分类损失比无重平衡的回归损失或分类损失的结果更准确,更有活力。第一个图是成功的着色结果。第二个图是失败的例子,常见故障如下:无法捕捉长距离一致性、频繁的红蓝色混淆以及复杂室内场景默认的棕褐色调。
![53ebd55e972221e1df2ca30ad4314945.png](https://i-blog.csdnimg.cn/blog_migrate/903d3f42f8b08b78633dcada57b848bf.jpeg)
![41ad180280471769aafe4c841b45bd4b.png](https://i-blog.csdnimg.cn/blog_migrate/34e17000664065916f8e37b34e3e3c08.jpeg)
论文【2】也是一种全自动着色方法,不同的是,它重新定义了着色为匹配问题;可更好地利用全局图像信息,采用自适应图像聚类技术;为了确保无畸变,采用基于联合双边滤波(joint bilateral filtering)的后处理方法。
如图所示是采用大型参考图像数据库和深度学习着色法的直观图。(a)给出通过自适应图像聚类技术被分为各种类的参考图像,用于每个类训练深度神经网络(DNN)。(b)着色方法和DNN架构。给定灰度,首先自动探索最近的类和相应训练的DNN。在每个像素提取特征描述子用作神经网络的输入。神经元对的连接与参考图像数据库学习的权重相关联。输出是相应像素的色度,可以直接与灰度组合得到相应的颜色值。训练模型计算出的色度可能在低纹理区域周围有点噪声,使用联合双边滤波器(输入灰度图像为指导)可以降低噪声。
![7979891ea2a775c347f26b70795e8ae1.png](https://i-blog.csdnimg.cn/blog_migrate/702b188cda249b9a304c20f66c1a9c4c.jpeg)
参考文献
1. R Zhang, P Isola, A Efros,“Colorful Image Colorization”,arXiv 1603.08511, 2016
2. Z. Cheng, Q. Yang, and B. Sheng. “Deep colorization”. IEEE ICCV, 2015