Colorization论文阅读——Let there be Color!

论文

Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification

• 发表于SIGGRAPH 2016

方法

首先，图片的颜色空间为LAB颜色空间，其中L代表亮度，AB分别代表洋红(Cyan)到绿色(Green)的过渡和黄色(Yellow)到蓝色(Blue)的过渡。在灰度图中，L完全保留，而AB完全丢失，因此需要通过L预测出AB，再叠加到原来的L上，就能够得到彩色图片。

如下图，这篇论文采用了全局和局部的两种维度提取特征。局部特征基本上是一个U-Net，全局特征一方面要得到整张图片的分类，另一方面要把全局的特征和局部特征做融合(Fusion)。

其中具体每一层的参数如下图所示。

里面最核心最具创新性的应该就是全局特征和局部特征的Fusion。Fusion的过程非常简单粗暴，就是把全局特征的向量一个一个排起来，concatenate到局部特征的每个像素上。即