ICCV 2019 Oral 论文 FiNet: Compatible and Diverse Fashion Image Inpainting

                    FiNet，时尚图像补全网络
                    ![在这里插入图片描述](https://img-blog.csdnimg.cn/20191107102646828.png)

视觉上的兼容与协调对于时尚分析至关重要，然而现有的时尚图像生成系统在此方面却有所欠缺。

在本文中，研究者提出通过时尚图像修复来对视觉上的搭配兼容性进行显式的建模。研究者提出了 Fashion Inpainting Networks（FiNet，时尚图像补全网络），这是一个两阶段的图像到图像生成框架，能够实现视觉上兼容协调但不失多样化的图像修复技术。

为了获得更加真实的结果，研究者对于款式和外观进行了解耦：整个框架由款式生成网络和外观生成网络两部分组成。

更重要的是，对于每一个生成网络，研究者都引入了两个互相作用的编码器，通过共享兼容空间（隐空间），实现对兼容性的学习。

隐空间的表征与相应的生成网络共同优化，并作为生成过程的条件，从而能够生成一组与实际时尚服装在视觉上匹配的穿搭图像。

此外，该研究中的框架可以很容易扩展应用到服装重建和时尚风格迁移任务中去。各种时尚图像生成的实验均定性和定量的验证了该方法的有效性。

目录
1 导论
2 研究方法
2.1 款式生成网络
2.2 外观生成网络
2.3 讨论
3 结论

1
导论

深度生成模型的最新突破，尤其是变分自编码器（Variational Autoencoders, VAEs），对抗生成网络（Generative Adversarial Networks, GANs）及相关技术为计算机视觉中众多的时尚应用打开了一扇新的大门，包括时装设计、基于文字指导的时尚图像生成，虚拟试衣系统，以及基于服装外观的迁移任务等。

与刚性物体的图像生成不同，时尚图像生成更为复杂，因为每一组服装搭配中都包含多个服装单品，而且同一套服装搭配中的单品可能具有截然不同的外观，例如质地和颜色（例如，棉衬衫、牛仔裤、皮鞋等），但穿搭在一起时它们却是相互补充的，因为他们共同构成了整个时尚风格。

因此，探索各种服装单品作为一个完整的集合而不是各个孤立元素时的穿搭兼容性，并且在此基础上生成多种多样的时尚服装图像，有助于提升虚拟试衣的体验和得到更加令人惊叹的时装设计。

但是，在计算机视觉任务中对穿搭兼容性进行建模非常困难，因为没有明确的标注与指标来对此进行评判。

因此，研究人员通过借助各单品之间的关系（或同时出现在搭配中）来作为一种弱性评估方法来评估穿搭是否兼容协调，以此缓解上述难题。

例如，出现在同一服装搭配中的两个时尚单品被认为是兼容协调的，而通常不在一起穿着的服装搭配则是不兼容的。

Figure 1: Weinpaint missing fashion items with compatibility and diversity in both shapesand appearances

同样，研究者还探索了对穿着搭配关系作为时尚图像合成任务时的上下文语义信息的应用。

特别地