Object discovery from motion-guided tokens

Abstract

这项工作引入了一种新颖的自动编码器架构 MoTok，用于无监督视频对象发现。通过利用运动引导标记化，该模型增强了 Transformer 架构中注意力机制的核心矢量量化过程。我们的方法允许出现可解释的中级特征，从而简化对象发现任务。对合成数据集和真实世界数据集的综合评估表明，如果解码器具有足够的容量，运动引导可以减轻对标签、光流或深度解码的需求，从而实现最先进的结果。所提出的方法有效地解决了对象背景模糊性的挑战，并提高了现实视频场景中的性能 [T4]、[T5]。

网络架构图

图2。提议的运动引导令牌(MoTok)框架的模型架构。MoTok是一个统一的视频对象发现框架，可以灵活地选择不同的解码器和重构空间。我们的框架有效地利用了运动和标记化之间的协同作用，并允许出现可解释的特定对象的中级功能。

methods

论文中提出的方法称为运动引导标记（MoTok）。它旨在通过利用运动提示和标记化来增强对象发现。以下是 MoTok 框架的关键组件：

1. 运动引导标记化：该方法利用运动信号创建标记表示，简化基于颜色、纹理和位置等属性将像素分组到中级区域的过程。这有助于更有效地区分对象和背景。
2. 联合训练：MoTok 使用运动提示和矢量量化联合训练槽表示。这种方法允许模