Colorization as a Proxy Task for Visual Understanding
Introduction
本文继续介绍将图像上色作为pretext task的自监督学习方法,本文的作者和上一篇博客的作者相同,方法也是上一篇论文的研究。该论文发表在CVPR2017上。 论文主页。
本文作者继续探讨图像上色在自监督任务上的效果,采用的方法和上一篇论文基本相同,作者通过实验发现该方法在Pascal VOC07的分类任务和VOC12的分割任务上取得了最好的效果。本文的创新点较弱,也没有提出新的方法,被接受的关键应该是接下来作者对自监督学习进行了一系列的分析。
Method
本文在方法上可以参考上一篇博客,没有本质上的变动。有几个调整的地方:一个是使用的是LAB颜色空间,看作者的意思是ab波段分别量化,取K=32。另外,作者采用了稀疏训练的方法,训练数据集的3.7M,取自1.3M的ImageNet数据和2.4M的places205数据集。
Experiments
实验部分除了进一步验证该方法在自监督学习上的效果,还分析了不同的损失函数、网络结构等对结果的影响,可以和这一篇博客自监督学习性能概述一起分析。
Loss对结果的影响
作者首先探讨在VOC12上的分割效果:
Regression指的是在上色任务中,使用L2损失函数,这里可以看出,作者使用自己提出的损失函数,可以提高分割的精度。如果是随机初始化,精度大概是33%。
Network architecture 对结果的影响
接下来作者分析了Alexnet、VGG16和resNet-152对结果的影响
和我们之前介绍的一样,Resnet可以取得更好的效果。另外,值得注意的是,三种网络模型在随机初始化的条件下,精度类似,这也说明了预训练的重要性。
ImageNet pretraining
接下来,作者探讨了ImageNet预训练的结果。
作者在这里做了若干组实验。其中,None表示不使用任何预训练方法,C1000表示使用ImageNet全部的1000个类别进行预训练;E10和E50表示将10%和50%的样本赋予随机的标签进行训练;H16和H2表示按照theWordNet hierarchy 将标签合并为16和2个,而R50和R16表示在合并标签时,我们将1000个类别,随机放入50和16个类别中。
Conslusion
这篇文章的创新性不是很强,主要在于对自监督方法的分析,这也是但是比较早的对自监督学习方法进行系统分析的文章,其中的很多结论对于我们自己训练自监督学习任务很有启发。