自监督学习（八）Learning Representations for Automatic Colorization

Introduction

本文和上一篇博客中介绍的文章思路相似，也是研究图像的自动上色方法，同时，验证了其在自监督学习上的效果。比较有意思的是，这两篇文章都是发在了ECCV2016上，而且文章思路也有很多相似之处。论文主页地址。
文章通过预测图像像素点颜色的直方图分布实现图像的自动上色，在部分或整张图像上色任务上均取得了当时最好的效果。文章的最后，作者探讨了其在自监督学习任务上的效果。

Method

和上一篇博客中介绍的论文类似，本文的主要工作主要体现了损失函数和策略上，对于神经网络本身的研究不多。作者使用的是全卷机神经网络，并且使用了skip-layer的方法，从不同的卷积层依次取出特征图，联合之后作为分类层的输入，这样可以使网络更加有效地学习到不同尺度的特征。网络和方法结构图如下所示：

作者在这篇文章中，使用了LAB和HSL两种颜色空间，输入的图像都是代表亮度的L波段，预测其他两个波段。对于不同的颜色空间，损失函数的设计和标签的选取策略有所不同。

Loss

本文使用的损失函数的基本形式如下所示：

其中，$y$表示标签数据，经过某种量化，可以产生K维的向量，可以参考上一篇博客中介绍的软编码的方式，但是作者这里发现，直接用one-hot编码效果是最好的，也就是说损失函数和交叉熵是一样的形式。
作者在这里对于不同的颜色空间使用了不同的量化方式，对于LAB颜色空间，作者采用均匀采样分位点的方法确定标签。在博主看来，这本质上就是一种不均匀的量化，实际上不仅可以做到标签的量化，而且可以缓解类别不均衡的问题，因为从上一篇博客的介绍，我们知道ab波段颜色分布在以0为中心，向四周逐渐降低。另外，作者在这里还尝试了将ab联合采样和分开采样两种情况，对于联合采样K取32，对于分开采样，K取16x16，分开采样点的时候，上面介绍的损失函数会变为两项（对应两个波段）。而对于HSL空间，对于H和S波段，作者只使用了分开采样。

Inference

同样的，本文也需要研究得到预测直方图后，如何将其映射回原图的方法，这里作者提出了四种方法：

1. 从直方图采样一个，但是这样容易造成颜色的跳变。
2. 选取直方图中最大一个。问题是容易在某个区域出现突然的颜色变化
3. 通过线性差值得到最终的颜色。对于LAB空间，这种方法最有效
4. 对直方图中的颜色进行加权平均，求期望。对于HSL空间，这种方法最有效。

Experiments

作者首先对自动上色的效果进行了验证：

这部分比较直观，我们主要关注其在自监督任务上的效果，作者是将其用在了pascal VOC12的分割任务上，

提升还是蛮大的，比直接使用ImageNet训练的alexnet效果还要好。