Colorful Image Colorization 论文笔记

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_16137569/article/details/83859156

  这篇论文是加里福利亚大学Richard Zhang发表在ECCV 2016上的文章，论文的工作是灰度图的自动着色，这里博主想要重点关注一下论文对颜色分布预测的工作，所以把一篇这么老的论文翻出来重新看。

论文主页：http://richzhang.github.io/colorization/，东西比较全，论文，github，在线demo都有

---

1. 论文贡献

  用论文作者自己的话说，论文贡献主要体现在两方面：

• 在自动图像着色的图形学领域取得了进步：设计了一个合适的损失函数来处理着色问题中的多模不确定性（简单来说就是物体可以有多种可能的上色），维持了颜色的多样性；介绍了一种新型的着色算法评估框架，而且这种评估框架有应用到其他图像合成任务的潜力；通过在百万数量级的彩色图片上训练在这类任务上抵达了一个新的水准。
• 将图像着色任务转化为一个自监督表达学习的任务，并且在一些基准上获得了最好的效果。

  论文所做的事情用一句话就能概括：给灰度图上色。不过论文的切入点我觉得很巧妙，它不是恢复灰度图的真实颜色，而是用灰度图中物体的纹理、语义等信息作为线索，来预测可能的上色，最后的上色结果只要真实即可。这不仅降低了上色的难度，而且也符合人们的认知：比如一个苹果，给它上青色，上红色都是正常的，不限于某一个颜色，只要不是紫色黑色等奇怪的颜色。

2. 论文动机

  考虑到这篇论文是发表于2016年，当时图像着色方面的工作还不是很多，已有的方法比如ICCV 2015的《Deep colorization》，可以看到下图中的上色结果，虽然大体上正确，但是颜色显得饱和度比较低，有些单调的感觉。Richard Zhang认为，前人的目标只是优化预测结果和真实图片间的欧氏距离（即MSE），这种损失函数会鼓励比较保守的预测（原因在后面会将），从而导致颜色饱和度不高，色彩不丰富。

  《Very deep convolutional networks for large-scale image recognition》这篇文章指出，颜色预测是一个多模的问题，一个物体本来就可以上不同的颜色。为了对这种多模性建模，Richard Zhang为各个像素预测一个颜色的分布，这可以鼓励探索颜色的多样性，而不仅仅局限在某一种颜色中。

3. 论文模型

  基本模型还是比较简单的，输入图片的$LLL$H(Zh,w​)=E[fT​(Zh,w​)]　　fT​(z)=∑q​exp(log(z