大家好,3DCV今天给大家分享一篇首个公开的(2024.03)有效解决在线3D点跟踪问题或长时场景流估计问题(LSFE)的工作:SceneTracker。如果您有相关工作需要分享,请联系cv3d008!
读者个人理解
在时间与空间组成的4D时空中,精确、在线地捕捉和分析长时且细粒度的物体运动,对机器人、自动驾驶、元宇宙、具身智能等领域更高水平的场景理解起到至关重要的作用。
本研究提出的SceneTracker,是第一个公开的(2024.03)有效解决在线3D点跟踪问题或长时场景流估计问题(LSFE)的工作。其能够快速且精确地捕捉4D时空(RGB-D视频)中任意目标点的3D轨迹,从而使计算机深入了解物体在特定环境中的移动规律和交互方式。
SceneTracker是一种新颖的基于学习的LSFE网络,它采用迭代方法来逼近最优轨迹。同时其动态索引和构建表观和深度相关性特征,并利用Transformer挖掘和利用轨迹内部和轨迹之间的远程联系。通过详细的实验,SceneTracker在处理3D空间遮挡和深度噪声干扰方面显示出卓越的能力,高度符合LSFE任务的需求。
最后,本研究