20200916-GAN+图像处理-论文分享

/4 Robust Image Colorization using Self Attention based Progressive Generative  Adversarial Network（在论文Self-Attention Generative Adversarial Networks的基础上做的）

主要内容：图像自动着色的不确定性+灰度噪声图像。本文提出了一种基于自注意的渐进生成对抗网络(RIC-SPGAN,Robust Image Colorization using Self-attention based progressive Generative network)的鲁棒图像着色算法，该算法由residual编解码网络(RED)和基于自注意的渐进生成网络(SP-GAN)级联组成，对图像去噪和着色。我们使用SP-GAN来建模远程依赖关系，并逐步增强彩色图像的分辨率。还提出了生成模型的稳定技术。

网络结构：RIC-SPGAN。1.去噪模型REDNet+彩色化模型SPGAN。2.生成器是一个UNet，编码器是用预先训练过的权重初始化的ResNet34。critic loss是对抗性损失的铰链版本。3.去噪模型REDNet是一个全卷积神经网络FCN，使用skip connection连接编码（卷积）+解码（反卷积）。4.自注意力算法同论文1一致。5.使用光谱归一化稳固训练。6.输入渠道逐渐增长。首先下采样11倍，然后逐渐增大输入图像的大小。

/5 Reference-Based Sketch Image Colorization using Augmented-Self Reference and Dense Semantic Correspondence基于参照的草图图像着色使用自增强参照和密集语义对应

主要内容：针对已着色的参考图像，对素描图像自动着色，但是参考图像难以获得，就利用外观和空间变换作为参考图，保证彩色输出图像的地面真实性成为可能。此外，它为密集的语义对应提供了基础，在内部注意机制中利用这些语义从参考到草图输入的颜色转换。目标函数similarity-based triplet loss不同于softmax，而是学到embedding。提出一个评估度量标准--语义相对应的PSNR（SC-PSNR）。

网络模型：Augmented-Self Reference Generation （自增强参照生成）和Spatially Corresponding Feature Transfer Module（空间对应特征传输模块）。如下图，I通过图像提取得到Is，通过薄板样条函数(TPS)得到Ir，Is与Ir通过不同的编码器Er和Es，得到fr和fs。这两者再经过残差模块和U-net解码器来获得最终的彩色输出。

Augmented-Self Reference Generation （自增强参照生成）：原图I经过外观变换给RGB每个通道加噪声为Igt；I也要经过加噪声和TPS，才得到Ir。

Spatially Corresponding Feature Transfer Module（空间对应特征传输模块）:SCFT通过注意力机制建立密集对应映射。SCFT也就是找到参考图像的哪一块信息，再传递到草图图像的哪一部分去。Er和Es两个编码器有L层卷积层，则会产生L个包含中间输出的激活映射。现在我们下采样每一个匹配空间大小的激活映射，并将它们沿着通道尺寸连接在一起，形成最终的激活映射V。将V重组为很多个特征表示，再获得来自草图编码器Es和参照编码器Er的输出，以计算得到最终输出。