本文介绍了pix2pixHD，一种利用条件生成对抗网络从语义标签图生成高分辨率逼真图像的方法。通过新对抗损失、多尺度生成器和判别器结构，实现了2048x1024的图像合成。此外，通过实例分割信息支持物体操作，并通过特征提取实现一对多图像生成，允许用户交互式编辑物体外观。研究表明，pix2pixHD在图像合成和编辑的质量和分辨率上优于现有方法。
摘要：
我们提出了一个新方法，使用CGANs从语义标签图生成高分辨率的逼真图像。CGANs已经被应用在多种场景，但是其结果总是局限在低分辨率，还不够真实。在这个工作中，我们通过一个新的对抗损失，新的多尺度生成器和判别器架构，来生成2048x1024的吸引人的结果。此外，我们还通过两个附加特性将框架扩展到交互式可视化操作。首先，我们合并了物体的实例分割信息，它支持对物体的操作，例如删除/添加对象和更改对象类别。此外，我们提出了一种方法，在相同的输入条件下生成不同的结果，支持用户交互式地更改物体外观。人类的意见研究表明，我们的方法明显优于现有的方法，提高了深度图像合成和编辑的质量和分辨率。
介绍
实现以下功能：
主功能：通过一个新的对抗损失和多尺度生成器、判别器来生成高清图像，同时perceptual loss可进一步略微提高合成效果。
交互式拓展1：使用实例级物体分割信息，可进一步提高图像质量，实现对物体的灵活修改(物体增删，换类别)。
交互式拓展2：提取实例级特征，实现一对多的图像生成，支持物体的特征编辑。
方法
1. 主功能
主功能是一个coarse to fine的过程。分为三个部分：coarse-to-fine generator, multi-scale discriminators, improved adversarial loss。
coarse-to-fine generator
生成器由两个子网络G1和G2组成，其中G1是全局生成器，G2是局部增强生成器。
G1的架构是
最低0.47元/天 解锁文章
扫一扫
369
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
