VideoFlow

最新推荐文章于 2025-06-04 16:16:53 发布

原创最新推荐文章于 2025-06-04 16:16:53 发布

· 297 阅读

2 ·

版权

文章标签：

#人工智能

人工智能专栏收录该内容

2589 篇文章

订阅专栏

本篇文章介绍来自香港中文大学 MMLab 的论文VideoFlow: Exploiting Temporal Cues for Multi-frame Optical Flow Estimation。

论文链接：https://arxiv.org/abs/2303.08340
代码链接：https://github.com/XiaoyuShi97/VideoFlow

本文提出了一个 多帧光流估计模型VideoFlow ，打破了当前主流方法只以两帧图片作为输入而面临的信息瓶颈，充分挖掘和利用多帧数据的线索，显著提升了光流估计的性能。在自动驾驶KITTI-2015 Benchmark上，VideoFlow实现了 3.65% 的Fl-all error，相比之前发表的最好结果（4.52%）误差降低了 19.2% 。在公开的Sintel Bechmark上，VideoFlow在Clean和Final两个子集分别取得了0.991与1.649 AEPE，与之前发表的最好结果（1.073和1.943）相比，误差下降了 7.6% 和 15.1% ，并且是首个在Clean子集实现 亚像素级别误差 的模型。模型与训练代码均已开源。

方法

本文主要由两部分组成。首先，考虑以相邻三帧图片作为输入时，提出了TRi-frame Optical Flow (TROF)模块，重点在同时预测从中间帧到前后两帧的光流，因为这两个方向的光流从相同的像素出发，避免之前方法由于单向warp光流无法对齐而产生的误差。当输入帧数大于三帧时，复用三帧模块TROF，额外引入一个运动传递（Motion Propagation）模块（MOP），通过在相邻的三帧模块之间传递运动信息，扩大了时序维度的感受野，提高光流估计的准确性。

三帧模型具体而言，三帧相邻的图片作为输入时时，采用共享权重的特征编码器获得对应特征图，然后分别建立中间帧与前后两帧的cost volume。采用类似RAFT的结构，迭代优化光流估计。核心的改进在于，在每一步迭代时，将输入变为双方向的cost feature和当前估计的双向光流值。采用最简单的concat操作融合双向的相似性和光流估计信息。TROF模型能利用额外的一帧提高光流估计的准确性。

多帧模型具体来说，每个三帧单元额外维护一个运动状态向量M_t，在每一步迭代更新之前，前后两个三帧单元的运动状态向量（m_fwd和m_bwd）会根据光流warp到中间的三帧单元，实现相邻单元的信息传递。每个一步结束后，运动状态向量都会更新。由于采用迭代更新的方式，随着迭代步数的增加，时序维度的感受野会不断变大，每个三帧单元能获得更多的信息，因而能更加准确地估计光流。

结果

实验结果在Sintel和KITTI-2015两个数据集上评测VideoFlow。其中Sintel有Clean和Final两个子集，它们内容相同的，但是Final子集中的图象存在运动模糊，因而更加困难。的三帧模型已经超越了之前所以发表的方法。五帧模型进一步提高了准确度。值得注意的是，VideoFlow是首个在Sintel Clean子集实现亚像素级别误差的方法。 whaosoft aiot http://143ai.com

具体而言，在Sintel Bechmark上，VideoFlow在Clean和Final两个子集分别取得了0.991与1.649 AEPE，与之前发表的最好结果（1.073和1.943）相比，误差下降了7.6%和15.1%。在自动驾驶KITTI-2015 Benchmark上，VideoFlow实现了3.65%的Fl-all error，相比之前发表的最好结果（4.52%）误差降低了19.2%。

可视化分析展示了KITTI-2015 Benchmark上的两个典型例子，其中白色表示预测结果为静止，不同颜色代表不同预测方向。