TPAMI 2024 | 具有识别机制的可扩展视频目标分割

题目：Scalable Video Object Segmentation With Identification Mechanism

具有识别机制的可扩展视频目标分割

作者：Zongxin Yang; Jiaxu Miao; Yunchao Wei; Wenguan Wang; Xiaohan Wang; Yi Yang

---

摘要

本文探讨了在半监督视频目标分割（VOS）中实现可扩展和有效的多目标建模所面临的挑战。先前的VOS方法使用单个正目标解码特征，限制了多目标表示的学习，因为在多目标场景下它们必须分别匹配和分割每个目标。此外，早期的技术针对特定应用目标，缺乏满足不同速度-准确性需求的灵活性。为了解决这些问题，我们提出了两种创新方法：目标关联变换器（AOT）和具有可扩展性的目标关联变换器（AOST）。为了实现有效的多目标建模，AOT引入了识别（ID）机制，为每个目标分配唯一的身份。这种方法使网络能够同时对所有目标进行建模，从而在一次网络通过中实现目标的跟踪和分割。为了应对灵活性不足的问题，AOST进一步集成了包含可扩展监督和分层ID基础注意力的可扩展长短