TPAMI 2024 | 从网络视频中多任务学习物体状态和状态修改动作

题目：Multi-Task Learning of Object States and State-Modifying Actions From Web Videos

从网络视频中多任务学习物体状态和状态修改动作

作者：Tomáš Souček; Jean-Baptiste Alayrac; Antoine Miech; Ivan Laptev; Josef Sivic

---

摘要

我们旨在通过观察人们在长时间未经编辑的网络视频中与物体互动，学习物体状态变化和相应的状态修改动作的时间定位。我们介绍了三个主要贡献。首先，我们开发了一种自监督模型，用于从互联网未编辑的视频集中联合学习状态修改动作及其相应的物体状态。该模型通过因果排序信号（即初始物体状态→操控动作→结束状态）进行自我监督。其次，我们探索了替代的多任务网络架构，并确定了一种能够高效联合学习多个物体状态和动作的模型，例如一起倒水和倒咖啡。第三，我们收集了一个新的数据集，名为ChangeIt，包含超过2600小时的视频和34,000个物体状态变化。我们在现有的教学视频数据集COIN以及我们新的大规模ChangeIt数据集上报告了结果，后者包含数万段描绘各种互动的