Deep Learning Based Registration文章阅读(十三)UPFlow: Upsampling Pyramid for Unsupervised Optical Flow Lea

Deep Learning Based Registration文章阅读(十三)

本次文章是CVPR2021 megvii关于无监督光流的一篇,孙剑通讯。
在这里插入图片描述

Motivation

目前的无监督光流的sota是UFlow,整合了目前为止包括pyramid structure等各个模块后形成的框架。但是目前的pyramid structure有两个问题,这篇文章也是根据这两个问题提出了相应的method解决从而取得无监督sota。第一,pyramid structure中存在upsampling的操作,但是目前的upsampling多是通过一些双线性插值等传统方法,会使得在边缘出现blur,从而影响在high resolution layer进行fine learning,从而直接影响后续效果。第二,在pyramid structure的一些middle layer没有进行一些约束,从而可能使得在middle layer的error累计到fine layer。这篇文章分别对这两个问题设计了一个block和一个loss。

Framework

这篇文章主要是对pyramid structure做了改进,传统的pyramid structure如下图所示,应该就和PWC-Net的一样:
在这里插入图片描述
下图主要是想说明,在边缘位置附近,如果使用传统的双线性插值来做upsampling,会使得插值点的值一部分来源于边缘左侧一部分来源于边缘右侧,而一般边缘左右的region可能值相差很大,从而会在upsampling后的feature中的边缘位置引入一些模糊,从而影响fine learning的学习,如果能将边缘位置的插值点,通过一个学习的interpolation flow变换到一个平坦的区域,将平坦位置的插值作为该边缘位置的插值,就可以避免上述问题。
在这里插入图片描述
上述问题可以通过一个可学习的interpolation flow解决,而该flow是通过下面的dense block所估计,注意下图中的warp位置应该是错误,应该在 F i + 1 i F_{i+1}^i Fi+1i下面位置。对于一个flow,只需要对边缘位置进行上述操作,对于本就平坦的区域还是可以用传统双线性插值来实现,所以dense block还出了一个weigh map,用来评估该像素位置是边缘的概率,并把这个概率作为传统双线性插值和interpolation flow来warp操作相结合的加权。
在这里插入图片描述

Loss

loss值上的变动就是引入了Pyramid Distillation Loss,就是在金字塔的中间层,使用最细层的flow的相应倍数的下采样去和每一个中间层的flow做MES。

Results

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值