《INSTAGAN: INSTANCE-AWARE IMAGE-TO-IMAGE TRANSLATION》阅读笔记

INSTAGAN: INSTANCE-AWARE IMAGE-TO-IMAGE TRANSLATION 2019 ICLR

Abstract:

当前的方法无法解决多目标或者转化尺度太大，为了解决这个问题，本文提出实力感知分割和改善多实例目标。该方法既转换了图像，又转换了相应的实例属性集，同时保持了实例的排列不变性。通过引入了一种上下文保持损失，使网络在目标实例之外学习身份函数。还提出了一种顺序小批量推理/训练技术，它使用有限的GPU内存处理多个实例，并增强网络以更好地推广多个实例。

1、Introduction:

当前关于GAN的研究是多样性的，本文重点是换装和多目标。提出了一种新的方法，将多个目标对象的实例信息整合到生成对抗性网络（GAN）的框架中，称之为实例感知GAN（Instagan）。使用对象分割掩码作为实例信息，这可能是实例形状的良好表示，因为它包含对象边界，而忽略其他细节，例如颜色。
主要贡献：
（1）实例增强神经体系结构
（2）上下文保持损失
（3）顺序小批量推理/训练技术
具体来讲：
（1）体系结构可以翻译任意数量的实例属性，条件是输入，并被设计为排列不变的实例顺序。
（2）上下文保持损失使网络专注于翻译中的目标实例，并在它们之外学习一个身份函数。通俗地说，它旨在保持背景上下文