Tracking through Containers and Occluders in the Wild论文阅读报告

《Tracking through Containers and Occluders in the Wild》–CVPR2023

简介

本文提出了一种新的模型和基准TCOW，TCOW模型针对的是长期的、严重遮挡的跟踪目标。
图像中的对象可以使用对象持久性的概念进行分割，这反映了即使对象不再可见也仍然存在的事实。

可视化实现

teaser_v2_final1_large

绿色是目标。
红色被遮挡
蓝色是容器

网络结构

在较高层面上，给定视频开头指向目标对象的指针，模型会为后续视频剪辑的每一帧生成三个掩码。
目标通道 mi 对我们感兴趣跟踪的实例进行本地化和分段。
遮挡通道 mo 指示当目标被隐藏时最前面的对象是什么。
容器通道 mc 显示了最外面的对象在被对象包围时所扮演的角色。

使用合成数据集测试

Jtgt,all 表示所有帧中目标姿态的平均 Jaccard 指数。 Jtgt，invis 仅考虑目标完全被其他对象遮挡的帧。 AOT 和 TCOW 在分割目标对象方面的表现有些相似，但 TCOW 擅长在目标被遮挡或包含时识别正确的遮挡物或容器。

使用真实视频测试

具有代表性的成功和失败案例。 总的来说，这个网络运行得很好。

• 例如，训练分布之外的阻挡者或涉及远程阻挡者的总阻挡通常仍然可以相当正确地处理。
• AOT 在分割目标对象（尤其是可见对象）方面具有很强的效果。

模型的缺点

pigs_swap

该模型仍然有两只外观相似的仔猪相互遮挡，导致 TCOW 将遮挡错误地识别为与第一只仔猪相同的情况。

shuffle_bad

TCOW 在洗杯游戏中经常遇到困难，尤其是当涉及的物体或容器尺寸较小或有额外的手部遮挡时。

결론

本文提出了一种新的遮挡目标区域跟踪模型，该模型具有出色的长时间跟踪严重遮挡目标的能力。