Deep Learning Based Registration文章阅读(十三）UPFlow: Upsampling Pyramid for Unsupervised Optical Flow Lea

Deep Learning Based Registration文章阅读(十三）

本次文章是CVPR2021 megvii关于无监督光流的一篇，孙剑通讯。

Motivation

目前的无监督光流的sota是UFlow，整合了目前为止包括pyramid structure等各个模块后形成的框架。但是目前的pyramid structure有两个问题，这篇文章也是根据这两个问题提出了相应的method解决从而取得无监督sota。第一，pyramid structure中存在upsampling的操作，但是目前的upsampling多是通过一些双线性插值等传统方法，会使得在边缘出现blur，从而影响在high resolution layer进行fine learning，从而直接影响后续效果。第二，在pyramid structure的一些middle layer没有进行一些约束，从而可能使得在middle layer的error累计到fine layer。这篇文章分别对这两个问题设计了一个block和一个loss。

Framework

这篇文章主要是对pyramid structure做了改进，传统的pyramid structure如下图所示，应该就和PWC-Net的一样：

下图主要是想说明，在边缘位置附近，如果使用传统的双线性插值来做upsampling，会使得插值点的值一部分来源于边缘左侧一部分来源于边缘右侧，而一般边缘左右的region可能值相差很大，从而会在upsampling后的feature中的边缘位置引入一些模糊，从而影响fine learning的学习，如果能将边缘位置的插值点，通过一个学习的interpolation flow变换到一个平坦的区域，将平坦位置的插值作为该边缘位置的插值，就可以避免上述问题。

上述问题可以通过一个可学习的interpolation flow解决，而该flow是通过下面的dense block所估计，注意下图中的warp位置应该是错误，应该在$F_{i+1}^i$下面位置。对于一个flow，只需要对边缘位置进行上述操作，对于本就平坦的区域还是可以用传统双线性插值来实现，所以dense block还出了一个weigh map，用来评估该像素位置是边缘的概率，并把这个概率作为传统双线性插值和interpolation flow来warp操作相结合的加权。

Loss

loss值上的变动就是引入了Pyramid Distillation Loss，就是在金字塔的中间层，使用最细层的flow的相应倍数的下采样去和每一个中间层的flow做MES。

Results