论文阅读——Dual-path Image Inpainting with Auxiliary GAN Inversion

2022

CVPR 2022

Dual-path Image Inpainting with Auxiliary GAN Inversion[paper]

本文创新点：利用GAN的逆映射提取破损图像的潜在编码，并用预训练的GAN提取相应的语义特来征辅助图像的修复。

网络结构

网络由两个分支构成，一个分支为逆映射路径，用来提取图像的潜在编码，并用预训练的GAN提取语义特征；另一个分支为前馈路径，融合逆映射路径的语义特征进行图像修复。

Inversion Path

GAN逆映射（GAN Inversion）实际上就是求真实图像的编码。通过 GAN 逆映射，可以获得与损坏图像接近的语义特征，用于补偿损坏图像中缺失区域的内容。

首先用编码器推断出潜在编码z，

然后，使用预训练的stylegan提取多尺度语义信息，

Feed-Forward Path

在前馈路径中，使用自动编码器架构作为修复网络，首先，提取破损图像的特征fm ，

然后，将逆映射路径提取到的语义特征与编码特征输入到生成器进行图像修复，

Deformable Feature Fusion Module

由于逆映射路径中推断不准确或修复结果的不确定性，逆映射路径的特征可能在空间上与前馈路径特征没有对齐，存在错位的问题。

在低分辨率下，由于结构或语义内容是模糊的，错位不是很明显，所以将两条路径的特征直接拼接起来。

其中， 生成器中的第i个卷积块。

对于高分辨率模块，使用可形变的特征融合模块进行特征融合。

首先，将两条路径的特征直接拼接起来，进行卷积操作，得到位置偏移图 ，权重图

然后，将位置偏移图 ，权重图 ，逆映射的特征图 输入到可形变卷积DFConv中，得到对齐后的特征图 ，

最后，将对齐后的特征图 与生成的特征图 拼接起来，

损失函数

在逆映射路径，使用照片真实感损失Lsp 和重建损失Lsr 来训练风格编码器Es ：

在前向路径中，使用重构损失Lr 和对抗损失训练修复网络，