INSTAGAN论文笔记

论文链接：https://arxiv.org/pdf/1812.10889.pdf
ICLR 链接：https://openreview.net/forum?id=ryxwJhC9YX

文章介绍了一种利用实例分割标签和原图作为输入，在保证背景不变的前提下对实例进行转换的图像翻译方法。
主要内容：
1.网络结构：生成器网，鉴别器网络结构与cyclegan相似，将多个不同的实例分割标签图一起concat进入网络。，并分别将原图和分割标签进行转换，而且这两个过程时同时关联进行，用来保证图像翻译过程中内容和背景的联系，文章提到标签和原图联合训练比单独分开训练效果要好。
我我觉得有点条件GAN的意思。

2.损失函数：
context preserving loss损失函数时文章提出的，保证在实例转换时为保证背景不发生变化。
损失函数一个由四部分组成，
1）LSGAN损失函数时最基本的GAN网络损失函数
2）cycle-consistency loss cyclegan网络的损失函数，为保证图像翻译过程中映射关系一一对应
3）identity mapping loss 也是内容损失函数保证图像翻译前后内容不变
4）文章中提出的context preserving loss ，也是保证在实例翻译时图像的背景内容不发生变化。
$L_{xgan}=L_{lsgan}+{\omega }_1{L}_{ctx}+{\omega }_2{L}_{idt}+{\omega }_3{L}_{cyc}$
3.提出了一种训练策略来应对当图像中实例过多时GPU不够用的情况：
步骤：
文章以一副图像举例说明
1）先将图像与一个实例的标签进行训练，生成关于一个实例转化之后的图像G1,和转化后的实例图mask1
2）然后利用G1放入网络中作为输入和另外两个实例的标签进行训练，生成G2,mask2,mask3
3) 然后利用G1放入网络中作为输入和另外两个实例的标签进行训练，生成最终4个实例转化之后的图像，以及四个实例mask1-mask4.
文章中在排列实例标签图时采用的排序方法时按照从面积从大到小排的，说是比随机排列效果生成图效果要好很多。