Deep Learning Based Registration文章阅读(十五）Learning by Distillation: A Self-Supervised Learning Framewo

Deep Learning Based Registration文章阅读(十五）

《Learning by Distillation: A Self-Supervised Learning Framework for Optical Flow Estimation》论文来自TPAMI-2021年6月。论文提出了一种新的自监督蒸馏学习的估计光流的框架，以解决两个问题：1、目前大多数的（这篇文章写作时）全监督光流网络是使用合成数据来做预训练，并且如果要达到sota，一般要严格遵守不同合成数据集做预训练的训练数据，而合成数据往往和真实数据之间存在gap，能否简化训练流程以及去掉对合成数据的依赖？2、无监督光流估计一般需要使用亮度一致性损失，例如MSE，NCC等，但是对于遮挡区域并不满足这一假设，从而使得无监督方法效果差于全监督，能否有办法能对带有遮挡的图像进行有效的光流学习以及缓解不带有标签训练方法（无监督，自监督）与全监督方法效果的gap？

Framework

框架如上图所示：Stage1是无监督teacher model的学习，Stage2是将数据做一个转换后，然后用teacher model学到的flow来引导student model的学习，inference的时候只用student model。student model和teacher model的backbone是一样的，比如都是PWCNet，FlowNet等，但是肯定不会share weight。

Challenging Transformations

文章定义了两种data transformation的方式（除了color,scaling等），一种如a图所示，用crop从而"人造“一些occlusion(p1)，另一种如图b所示，加入一些super pixel region的noise，从而使得相应点以patch角度看相似度下降（这里笔者还不理解的是，后面有提到confident map是1-transformed occusion map，原始的occusion map是二值化的，不明确这里的transformed occusion map是不是二值化的，同时不太明白color的transform怎么体现到对应的flow和occusion的变化上）。

变换后的结果如上图所示。

Method

Stage 1: Unsupervised Flow Learning
用来训练teacher model
下式用来估计occlusion


下式是计算loss

Stage 2: Self-Supervised Flow Learning with Knowledge Distillation
用来引导student model的学习
variant 1: from the occlusion view，occ和non-occ部分分开学习
下式选出hallucinated occlusions部分（原图像中不是occ，transformed图像中是occ，笔者的理解只有这部分occ在teacher model中有gt并被teacher学到，原图像就是occ的teacher也学不到）

下式计算loss：


variant 2: from the confidence view， 一起学习
下式是confident map定义，这里笔者不明确具体transform做法，看Fig3倾向于confident map是二值的

下式计算loss：

Results

与KITTI 2015和Sintel数据集取得sota的几种无监督方法的比较

KITTI与无监督以及全监督算法的比较（与全监督比较时，DistillFlow做了supervised以及semi-supervised的fine tune）

Sintel与无监督以及全监督算法的比较

occ估计的对比（笔者的理解DistillFlow的occ计算不是一个可学习的过程，是hard的）

backbone和semi-supervised的ablation study

loss的ablation study