Title:Deep Colorization
背景:目前的显色方法(Colorization methods)分为scribble-based methods 和examplebased method两大类。
scribble-based methods:需要在待显色的灰度图像上提供大量的涂鸦,耗时耗人力。
examplebased method:为了减轻人力的负担,提出该方法,从相似的参考图像中将颜色信息转换到灰度图像中,显色质量依赖于参考图像的选择,合适参考图像的选择是一个难题。
本篇论文将图像染色问题看作一个回归问题,使用深度学习解决这个问题。
创新点:
1、提出了第一个基于深度学习的图像染色方法并且证明了其有效性。
2、它由低到高,仔细分析了内容丰富但有区别的图像特征描述符,这是该算法的关键部分。
大体思路:
对于神经网络的测试分为以下几个步骤:
1、首先,神经网络的input layer含有128个神经元,分别对应49维的patch feature(Low-level)、32维的DAISY feature(Mid-level
)和47维的semantic feature(High-level)。output layer包含2个神经元,分为是该像素的U V(色度)分量的值。
2、得到色度分量后,为了消除潜在伪影,以原始灰度图像为指导,利用joint bilateral filtering technique(联合双边过滤技术)细化色度分量的值。
3、最后结合细化的色度分量与原始灰度图像得到最终染色的图像。
重点:图像特征描述符的理解。
缺点:
1、由于依赖机器学习方法,所以需要一个包含所有可能待染色目标的大规模数据库训练网络,这是不可能的。比如当前的图像通过自然图像训练,所以就不适用于合成图像。
2、不能恢复在彩色到灰度转换过程中丢失的信息。