旧照片或胶片着色修复+GAN

1.Self-Attention Generative Adversarial Networks （SAGAN，自注意力机制GAN）

论文：https://arxiv.org/abs/1805.08318

代码：https://github.com/heykeetae/Self-Attention-GAN

面对问题：基于GAN生成图像的细节把控不好

原因是：

• 现在基于卷积CNN的图像生成，基本上都是基于local receptive field(局部感受野)，略显局限，缺少全局或其他信息。
• 传统的卷积GANs只在低分辨率feature map(特征图)中以空间局部点的形式生成高分辨率细节。

解决办法：

self-attention 在模拟远程依赖性的能力、计算效率和统计效率之间展现出更好的平衡。自注意力机制将所有位置处的特征的加权和作为该位置的响应，其中权重 - 或注意向量 - 仅以较小的计算成本来计算。

SAGAN它将self-attention机制引入卷积GAN。

• 可以很好的处理长范围、多层次的依赖(可以很好的发现图像中的依赖关系)
• 生成图像时每一个位置的细节和远端的细节协调好
• 判别器还可以更准确地对全局图像结构实施复杂的几何约束。

2.DeOldify 是用于着色和恢复旧图像及视频的深度学习项目

它采用了 NoGAN 这样一种新型的、高效的图像到图像的 GAN 训练方法。细节处理效果更好，渲染也更逼真。

https://github.com/jantic/DeOldify

• Self-Attention生成对抗网络。除了generator是一个预训练的Unet之外，只做了一点修改，使它具有光谱规范化（spectral normalization）和自注意力（self attention）。

• 训练结构的灵感来自Progressive Growing of GANs（https://arxiv.org/abs/1710.10196）。但不是完全一样，差别主要是我的版本层数保持不变——只是逐步改变输入的大小并调整学习率以确保尺寸的转换成功。最终结果基本一致——训练速度更快、更稳定，并且能更好地泛化。

• Two Time-Scale Update Rule（https://arxiv.org/abs/1706.08500）。 这也非常简单， 就是一对一的generator/critic迭代和更高的critic学习率。

• Generator Loss包括两部分：一部分是基于VGG16的基本Perceptual Loss（或Feature Loss），基本上只是使生成模型偏差以复制输入图像。第二部分是critic的loss score。