ECCV 2022 | 港中文MMLab：基于Transformer的光流

最新推荐文章于 2024-04-15 13:00:37 发布

PaperWeekly

最新推荐文章于 2024-04-15 13:00:37 发布

阅读量2.3k

点赞数 1

文章标签：计算机视觉神经网络机器学习人工智能深度学习

本文链接：https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/126672383

版权

FlowFormer是港中文MMLab在ECCV 2022上提出的一种新方法，将Transformer架构引入光流估计，显著提高了性能。通过Alternate-Group Transformer (AGT)层和Recurrent Transformer Decoder，FlowFormer在Sintel和KITTI数据集上展现出优秀的泛化性和精度，降低误差达50.4%和45.3%。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

©PaperWeekly 原创 · 作者 | Zhaoyang Huang

单位 | 香港中文大学MMLab

研究方向 | 视觉关联性学习

Transformer 今年在图像领域展现出了很好地性能，相比于 CNN，它们的优势之一是基于注意力机制的长程建模能力。本文解读港中文 MMLab 在 ECCV 2022 上发表的论文《FlowFormer: A Transformer Architecture for Optical Flow》。这项工作提出了 FlowFormer 算法将 Transformer 结构结合进光流估计的框架中，显著提升了光流估计的性能。

只在 FlyingChairs+FlyingThings 上训练后，FlowFormer 在 Sintel Training 的 clean 与 final 两个子集中分别取得了 0.64 与 1.50 AEPE。与之前发表的最好结果（1.29 和 2.74）相比，误差下降了 50.4% 和 45.3%，体现了其卓越的泛化性。在公开的 Sintel benchmark（test）上，FlowFormer 在clean 和 final 两个子集中取得了 1.159 和 2.088 AEPE，降低了此前发表的最优误差（1.388 和 2.47）达 16.5% 和 15.5%。