AAAI2024最佳解读|Spatial-Contextual Discrepancy Information Compensation for GAN Inversion

论文标题

Spatial-Contextual Discrepancy Information Compensation for GAN Inversion 基于空间上下文差异信息的生成对抗网络反演补偿

论文链接

Spatial-Contextual Discrepancy Information Compensation for GAN Inversion论文下载

论文作者

Ziqiang Zhang, Yan Yan, Jing-Hao Xue, Hanzi Wang

内容简介

本文提出了一种新颖的生成对抗网络（GAN）反演方法，称为空间上下文差异信息补偿（SDIC），旨在解决现有GAN反演方法在重建精度与可编辑性之间的失真-可编辑性权衡问题。SDIC由差异信息预测网络（DIPN）和差异信息补偿网络（DICN）组成。DIPN通过编码原始图像和初始重建图像的多级空间上下文信息，预测出一个空间上下文引导的差异图。DICN则利用该差异图对潜在代码和GAN生成器进行补偿，从而生成高质量的重建和编辑图像。实验结果表明，SDIC在快速推理速度下实现了优秀的失真-可编辑性权衡，显著提高了图像重建的保真度和可编辑性。

分点关键点

1. SDIC框架

   • SDIC采用“补偿和编辑”范式，首先通过DIPN生成空间上下文引导的差异图，然后利用DICN对潜在代码和GAN生成器进行补偿。这一过程有效弥补了反演过程中图像细节的损失。

2. 差异信息预测网络（DIPN）

   • DIPN由双分支空间上下文沙漏模块和差异图学习沙漏模块组成，能够提取原始图像和初始重建图像的多级空间上下文信息，并生成可靠的差异图，从而捕获细粒度的图像细节。

3. 差异信息补偿网络（DICN）

   • DICN将预测的差异信息整合到潜在代码和GAN生成器中，通过不同的变换生成高质量的重建和编辑图像。这一方法有效提高了重建图像的保真度，减少了伪影的产生。

4. 实验结果

   • 定量和定性实验表明，SDIC在保真度和可编辑性方面优于现有的最先进GAN反演方法，展示了其在图像反演和编辑任务中的优越性能。

论文代码

代码链接：https://github.com/ZzqLKED/SDIC

中文关键词

1. 生成对抗网络
2. GAN反演
3. 空间上下文信息
4. 差异信息补偿
5. 图像重建
6. 可编辑性

AAAI论文合集：

AAAI论文合集

希望这些论文能帮到你！如果觉得有用，记得点赞关注哦~ 后续还会更新更多论文合集！！