论文阅读 | AdaCoF: Adaptive Collaboration of Flows for Video Frame Interpolation_2020 cvpr adacof: adaptive collaboration of flows -CSDN博客

本文链接：https://blog.csdn.net/bettii/article/details/128421631

前言：CVPR2020一篇基于核的视频插帧文章
ps:代码已经公布，运行无压力，但是其中的adacof的部分写得太底层了读不大懂，就浅浅的从文章层面谈谈我的理解好了
论文地址：【here】
代码地址：【here】

AdaCoF: Adaptive Collaboration of Flows for Video Frame Interpolation

引言

文章开始抛出了一个自由度Degrees of Freedom (DoF).的概念，即目前的不管是基于流的方法也好和基于核的方法也好，自由度都是受限的。
（一开始我特别迷惑这个自由度是啥）
文章给的自由度的解释如下这幅图
在这里插入图片描述
当然一开始我也看不明白这是啥意思，结合了后文的描述我的大致理解如下
图a基于核的方法，即用卷积核覆盖大部分的位移区域，然后算对应位置的位移
图b基于流的方法，位置随着流估计到达中间的某一个点
图c结合流和核的方法，在基于核的基础上，加上一个整体的偏移（类似光流），因此不用覆盖那么大的面积
图d的方法基于核的方法基础上，加上每个像素自适应的对应偏移（类似光流），因此有更多的自由度

网络架构

不加偏移的核的学习可以看成这个公式（图a）
在这里插入图片描述
每个像素加一个整体偏移（α、β）的核的学习为(图c)

每个像素加一个像素级偏移（α、β）的核的学习为(图d)

同时加上一个膨胀系数(Dilation)

由于没看懂代码怎么实现，我猜是用膨胀卷积做最后的核的卷积吧

网络架构
在这里插入图片描述
学习核的网络还是挺常规的

损失函数
这里作者提出了一种对抗式新型损失函数
在这里插入图片描述

实验

对比实验
在这里插入图片描述

可以看到生成的结果有较少的运动模糊和伪影

作者还做了一些关于损失函数、核大小的选择、膨胀系数选择的消融实验
同时做了对生成的各种参数的可视化
在这里插入图片描述
比如遮挡区域，更多是来自边缘，运动边缘通常只能其中一幅图提供图案的纹理信息，比如树叶离开的区域是来自红色部分，树叶到来区域来自蓝色部分，
流平均和光流可以类似比较
流方差作者在这里衡量的是像素偏移的分散程度