Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image

着色原理

网络结构为:

输入为灰度图像,输出为彩色图像.网络结构包括四个部分,Low-Level Feature Network用于提取图像的低层特征,提取低层特征后,通过一个Mid-Level Feature Network得到中间特征,另外通过Global Feature Network提取全局特征,将全局特征与中间特征融合,即Fusion layer,之后将融合特征输入Colorization Network得到图像的颜色特征,将颜色特征与输入图像(亮度图像)结合,得到最后的彩色图像.

网络具体参数如下:

特征融合(Fusion layer)计算为:

$y_{u,v}^mid, y^global$为256维的特征向量,w为$256\times512$的矩阵,$y_{u,v}^{fusion}$为256维的向量.

损失函数

同时将Global Feature Network特征输入到一个Classification Network,对数如图像进行分类,以优化Global Feature Network网络.这样,损失函数包括分类损失函数,以及彩色图像与真实图像的损失函数,计算如下:

效果对比

第一行为输入灰度图像,第二行为核心算法效果,第三行为不填加Global Feature Network的效果,第四行为添加Global Feature Network的效果.可见,在添加Global Feature Network特征后,图像颜色更丰富,饱和度更高.