论文阅读：PalGAN：Image Colorization with Palette Generative Adversarial Networks

一、论文介绍

这篇论文提出的是一种基于GAN的全自动彩色化方法。图像彩色化任务中，大多数的方法将彩色化作为像素级回归任务，通过大规模的训练数据和端到端的学习模型，可以学习到颜色分布先验，但这带来了多模态的问题。除此之外，渗色（color bleeding）也是彩色化问题中的一个常见问题。
作者针对这两个问题，提出论文中的方法：提出了着色框架PalGAN来避免逐像素建模导致的多模态问题；在框架中加入一个颜色注意力模块，将高级语义信息与局部细节结合，减少渗色效果。同时加入了调色板概率预测，使得该方法无需外界指导且能够提供更加准确、更加具有指导性的信息。关键思想是首先从灰度图像预测全局调色板概率，在GAN框架中，以灰度图像和调色板概率为输入进行建模，最终预测出一张彩色化图像。该方法预测的效果图如下图所示，展示了比较生动的结果。

二、网络结构

论文提出的方法首先使用卷积神经网络预测出直方图形式的调色板概率，其后是一个GAN模型，使用生成器生成颜色特征图，然后通过生成器判别生成器生成的结果是否真实。

三、具体细节

1.调色板预测

(1) ${\tau }_E$生成调色板直方图$\hat{\mathbf{h}}$

输入：灰度图像$\mathbf{L}\in {\mathbb{R}}^{H\times W\times 1}$
输出：直方图形式的调色板概率$\hat{\mathbf{h}}\in {\mathbb{R}}^{N_a\times N_b\times 1}$，其中$N_a$，$N_b$是ab轴网格的数目（？？？？）

(2) ${\tau }_{\hat{\mathbf{p}}}$生成空间特征直方图$S$

输入：灰度图像$\mathbf{L}\in {\mathbb{R}}^{H\times W\times 1}$
输出：直方图形式的空间特征$S$

2.调色板分配生成器

输入：直方图形式的调色板概率$\hat{\mathbf{h}}\in {\mathbb{R}}^{N_a\times N_b\times 1}$
输出：预测颜色特征图$\hat{\mathbf{C}}\in {\mathbb{R}}^{H\times W\times 2}$
输入经过调色板归一化，输入到生成器$G$中，经过几层卷积得到具有颜色信息的特征图$F$，输入到颜色注意力模块中，得到输出$F+F^{\prime }$，再经过一层卷积得到最终预测的颜色特征图$\hat{\mathbf{C}}$。

(1) 调色板归一化

首先对$\hat{\mathbf{h}}$归一化，然后执行由$g(\hat{\mathbf{h}})$参数化的仿射变换（$g(\ast )$是全连接层）。
该操作是为了增加调色板直方图$\hat{\mathbf{h}}$与预测的颜色特征图$\hat{\mathbf{C}}$之间的一致性。

(2) 颜色注意力模块

颜色注意力模块中将全局的语义信息和局部的颜色亲和力加入到颜色关系的构建中，前者由全局交互实现，后者由局部描述实现。
整个模块的输入是空间特征直方图$S$、从调色板预测生成器中得来的高级特征图$F$以及裁剪到与$F$同尺寸的灰度图像$L$。输出是残差特征图$F^{\prime }$。

• global interaction
  全局交互中使用了注意力机制的思想，从输入的空间特征直方图中经过卷积计算出区域特征$S^K$、$S^Q$，并归一化，接下来通过计算它们之间的余弦相似度，通过语义相似度得到权重：
  $$w_{pq}=\frac{\exp \left(w_{pq}^{\prime }\right)}{{\sum }_{k\in \mathbf{S}}\exp \left(w_{pk}^{\prime }\right)}\text{ where }{w}_{pq}^{\prime }=\frac{{\mathbf{S}}_p^{\mathrm{K}}\cdot {\mathbf{S}}_q^{\mathrm{Q}}}{\left|{\mathbf{S}}_p^{\mathrm{K}}\right|\left|{\mathbf{S}}_q^{\mathrm{Q}}\right|}$$
  将权重与特征图$F$逐区域计算得到具有全局语义信息的特征图$F_g$：
  $${\mathbf{F}}_p^g=\sum _{q\in \mathbf{F}}{w}_{pq}{\mathbf{F}}_q^{\mathrm{V}}$$
• local delineration
  局部描述中，为了保留纹理和边缘的信息，作者引用了引导滤波的思想。通过对引导图像对线变换，结合局部线性模型，对原始图像进行滤波处理。这样可以学习到局部之间的关系，很好地保留来自引导图像的边缘。CA模块中局部描述引导图像是灰度图像$L$。
  首先学习到两个参数$A、B$，计算方法是何凯明老师在2010年发表在ECCV的文章《Guided Image Filtering》中提出的：
  $$A=\psi (\frac{cov(F,L}{var(L)+ϵ}),B=\bar{F}-A\odot \bar{L}$$
  $\bar{F}$、$\bar{L}$表示通过均值滤波器的平滑版本。
  最后计算出局部特征图$F^{\prime }$:
  $$F^l=A\odot L\downarrow +B$$

(3) 调色板优化

将调色板直方图视为a、b上的联合分布，由内核的加权和表示。形式上，颜色直方图被写为：
$$h(a,b)=\frac{1}{Z}\sum _{x}k(C_a(x),C_b(x),a,b)$$

(4) 正则化

为了使得预测的颜色多样化，引入调色板正则化，以对抗不平衡的颜色分布所带来的不饱和的颜色。
作者利用概率调色板的熵来控制这种多样性：
$$E(\hat{h})=-\sum _{|\hat{h}|}^{i=1}\widehat{h_i}log\widehat{h_i}$$
为了提高颜色多样性，可以最大化$E(\hat{h})$。

3.判别器

输入：颜色特征图$\hat{\mathbf{C}}\in {\mathbb{R}}^{H\times W\times 2}$和彩色图像$I=\hat{\mathbf{C}}+L\in {\mathbb{R}}^{H\times W\times 3}$，将$\hat{C}$和$I$拼接并转换为一维特征$g\in {\mathbb{R}}^{256\times 1}$
输出： T or F
输入经过卷积判别器$D$，得到的结果通过内积与调色板融合，计算出最终的真实的概率：
$$p(C\oplus I)=(W_g{)}^{T}h$$

四、Ablation Study