【2022.1自蒸馏】ADAPTIVE IMAGE INPAINTING自适应图像修复简要概述

【2022.1自蒸馏】ADAPTIVE IMAGE INPAINTING简要概述

自适应图像修复

  本文主要内容：交叉蒸馏+自蒸馏+动态提取模块

  我们提出了一种基于蒸馏的嵌入方法，该方法对编码器层采用深度特征级引导，从而产生更好的孔区域嵌入。

  为了更有效地实现蒸馏目标，我们提出在编码器中使用专用的填充块，它只专注于更新孔区域。

1.1交叉蒸馏：

   训练现成的(off-the-shelf)不完整的(under-complete)自编码器用来重构 GT（Ground Truth地面实况）图像。

  教师：输入的GT图像样本是完整的，提取它包含缺失信息的特征，用来监督训练图像修复解码器。如下图，下方的网络往上层提供监督。

  注意：教师网络不是静态的，是随着训练进程动态演化的。

  使用元网络来决定autoencoder (AE)自编码器的哪些层对图像修复是有用的，用于改变每层监督的权重。

1.2 自蒸馏

  每层加入自蒸馏，将较深层的知识压缩到浅层网络中。见figure1的上方网络中深层指向浅层的箭头。

  交叉蒸馏提升编码器的性能，自蒸馏把这样的提高从深层流向浅层。

  自蒸馏：浅层学习后层，其中注意每层特征大小不一，需用f_m卷积算子匹配。

1.3 填充块

  提出结构修改+编码器的填充块，旨在利用未覆盖的区域去填充损坏区域：在每一层使用轻量并行的残差块提取编码特征，并建立权值和偏移值可变的自适应卷积层，用来更新孔洞区域。

  即：每层再添加一个动态模块f_fill来专门用于填补孔洞。见figure1上层网络中的绿色块。

实验结果