Dynamic Selection Network for Image Inpainting
Introduction
当前的修复结果生成伪像、扭曲的结构和模糊的纹理,尤其是当背景复杂或缺失区域巨大,效果更不可观。
普通卷积的缺陷:网络学习和推理阶段卷积特征的不稳定性:由于输入中不可预测的损坏区域,卷积核很难从输入中一致地捕获信息,即修复模型的卷积特征图中的相同特征值可能代表完全不同的东西。这些不稳定的特征会误导网络的推理过程,并产生不理想的结果。为了缓解这种不稳定性,一种简单的方法是执行边界特征重新归一化,这种方法基于用于生成特征的有效像素的数量来重新缩放特征的值。另一种方法是使用动态选通选择来选择特征,过滤无效/低质量像素。
PConv和GCONV在提高卷积特征图的稳定性方面取得了显著的效果,但是它们忽略了受损特征图和完整特征图之间的本质区别,即孔边界中有用信息的稀疏性。我们认为,与其简单地调整特征值,更重要的是恢复受损区域的丰富信息,并在网络的前向传递过程中精确而稳定地传递信息。