前言:ABME发表在ICCV2021,也是一篇基于光流做插帧的文章
论文地址:【here】
代码:【here】
Asymmetric Bilateral Motion Estimation for Video Frame Interpolation
引言
大多数插帧的方法都是基于光流
光流方法又可以分为前向流方法和后向流
前向流方便求得,但是容易造成空洞和重叠
后向流由于中间帧的缺失,大多方法采用近似的办法,但是近似会造成误差
这篇文章利用光流,提出了一个不对称的光流算法,
首先, 用对称流求得中间的锚定帧
其次,利用锚定帧求出两边的不对称光流
最后,利用对称的光流和不对称的光流,得到最后的插帧图像
网络架构
从左至右分别是
- 对称双边光流估计
- 锚定帧生成
- 不对称的光流估计网络ABMRnet
- 帧合成网络
对称双边光流估计
用BMBE的方法,求得对称后向流
锚定帧生成
在原有的后向流合成公式中
加入带有遮挡的mask
不对称的光流估计网络ABMRnet
网络如下
修改自PWC,其中也加了Mask 和offsetmap来对遮挡进行处理
帧合成网络
左右两边两张图和对应的对称的不对称的后向流输入,并warp,两边的网络共享权重
中间的网络主要为两部分 ,filternet和refinenet
这两个的网络结构都来自Gridnet,用于处理不同尺度的输入的融合问题
其中 filternet采用动态局部卷积lareral block
refinenet用于生成残差来优化结果
实验结果
可见要比BMBC效果好,参数量也更小
总结:这篇文章里的第二章有很详细的对前向warping和后向warping的总结归纳,在有的之前的文章这一块是略过的,还是讲的很清晰,但是还是觉得网络设计得有些复杂了,设计和沿用了很多新的模块