前言:CVPR2022一篇用transformer做插帧的文章
Video Frame Interpolation with Transformer
引言
目前做插帧的文章在长距离的场景中效果不佳,作者给的解释是,因为目前做插帧的文章多用的是普通卷积,普通卷积的感受野受限,因而只能关注到局部区域而不太能处理大范围运动。
作者提出了一个基于transformer插帧的文章,提出了一个跨尺度窗注意力,克服了transformer计算量大的困难。这样的设计不仅可以扩大感受野,并且在粗粗度上运动位移更小,为最终的图像合成提供了先验。
网络架构
首先,先用光流估计网络估计出后向光流Ot1,Ot0
然后,用特征提取网络提取每层特征F0i,F1i
接下来,用光流warp图像和每层特征送入设计得VFIformer网络合成最终的I0I1和Hδt,再用公式把最终的图像恢复出来
其中文章的主要设计就是VFIformer网络。
VFIformer网络
输入:原始两张图,warp的图像和每层特征
输出:左右warp图I0I1 和 mask H,残差δt,
其中,encoder部分是transformer,即TFB模块,decoder部分是普通的卷积上采样操作
其中TFB的结构如下,CSWA即类似的自注意力机制
下面介绍这样的跨尺度的自注意力机制
可见这样的注意力机制由左右两个支路汇聚成的
左边的支路是自己和自己做做transformer,左边的Q即查询键,自己尺度的滑窗(window), 而K和V都是来自同样的窗口,即窗口内的做transformer。
右边的支路是自己和自己的自尺度做transformer,Q仍然是自己,而K和V是自己的下一层尺度的特征,由于window大小要保持一致,因此作者这里做了用周围像素区域的补全的操作,
(这里我一个很不解的地方就是,这个图下的F代表什么,由于输入有很多支,在这里我姑且猜测,F代表每层的I0、 F0 或I1,F1,然后左右帧warp的图像分开作transformer,分别得到待合成的I0I1)
作者用图示意了这样改进的自注意力机制(CSWA)可以扩大感受野
实验
以下是一些实验结果
总结
看到了第一篇总transfomer插帧的文章,但是还是不够惊喜,要是能对两张图片做transformer,即KQ不来自同一张图片,我会很好奇是什么结果