题目:Learning Optical Flow and Scene Flow With Bidirectional Camera-LiDAR Fusion
双向摄像头-激光雷达融合学习光流和场景流
作者:Haisong Liu; Tao Lu; Yihui Xu; Jia Liu; Limin Wang
源码链接: https://github.com/MCG-NJU/CamLiFlow
摘要
在本文中,我们研究了从同步的二维和三维数据中联合估计光流和场景流的问题。以往的方法要么采用一个复杂的流程,将联合任务分解为独立的阶段,要么以“早融合”或“晚融合”的方式融合二维和三维信息。这种一刀切的方法因未能充分利用每种模态的特性或最大化模态间的互补性而陷入困境。为了解决这个问题,我们提出了一个新颖的端到端框架,它由二维和三维分支组成,在特定层之间有多个双向融合连接。与以往的工作不同,我们应用了一个基于点的三维分支来提取激光雷达特征,因为它保留了点云的几何结构。为了融合密集的图像特征和稀疏的点特征,我们提出了一个可学习的算子,名为双向相机-激光雷达融合模块(Bi-CLFM&#