Dynamic Selection Network for Image Inpainting（IEEE TIP）

Introduction

  当前的修复结果生成伪像、扭曲的结构和模糊的纹理，尤其是当背景复杂或缺失区域巨大，效果更不可观。
  普通卷积的缺陷：网络学习和推理阶段卷积特征的不稳定性：由于输入中不可预测的损坏区域，卷积核很难从输入中一致地捕获信息，即修复模型的卷积特征图中的相同特征值可能代表完全不同的东西。这些不稳定的特征会误导网络的推理过程，并产生不理想的结果。为了缓解这种不稳定性，一种简单的方法是执行边界特征重新归一化，这种方法基于用于生成特征的有效像素的数量来重新缩放特征的值。另一种方法是使用动态选通选择来选择特征，过滤无效/低质量像素。
  PConv和GCONV在提高卷积特征图的稳定性方面取得了显著的效果，但是它们忽略了受损特征图和完整特征图之间的本质区别，即孔边界中有用信息的稀疏性。我们认为，与其简单地调整特征值，更重要的是恢复受损区域的丰富信息，并在网络的前向传递过程中精确而稳定地传递信息。
  固定位置采样卷积和建议的VMC之间的差异。当采样区域包含有效信息和无效信息时，固定网格卷积方式，包括标准卷积、部分卷积[21]和选通卷积[22]，往往会产生不合理的信息。标准卷积总是误用无效信息。虽然部分卷积避免了无效区域，但比例因子通常会导致像素不准确。选通卷积可以动态地产生选通值以减少无效信息，而当采样区域混入无效信息时问题仍然存在。所提出的VMC可以从周围环境中借用有效信息来代替采样中的无效区域。与固定网格卷积相比，VMC在生成新像素时利用了更多的有效信息，而在VMC，由于权重更新良好，梯度下降更为正确。

• DSNet：通过动态选择机制，可以避免无效信息的干扰，自适应地利用有效信息。DSNet包含两个重要模块，即VMC模块和区域通信网络模块。
• VMC模块来解决卷积问题，将可变形卷积与区域机制相结合。除了忽略来自缺失区域的无效信息，VMC还可以通过解决固定采样网格的限制，灵活地学习来自不同位置的信息。
• RCN模块来代替一般的规范化，它根据环境动态地组合三种区域化的规范化方式。RCN模块有助于获