时序动作定位 | 面向时序行为定位任务的无监督预训练

​论文链接：https://arxiv.org/abs/2203.13609
代码地址：https://github.com/zhang-can/UP-TAL

主要贡献：

• 首次面向时序行为定位任务进行无监督预训练（UP-TAL）；
• 为此，提出了一个新的代理任务叫做“伪动作定位”（Pseudo Action Localization，PAL），并根据 TAL 任务特点，设计了一种时序等变学习（temporal equivariance learning）范式;
• 实验表明在下游时序行为定位任务上超过了主流无监督预训练方法，甚至超过一些有监督预训练方法。下游性能测评任务包括：时序行为检测（Temporal Action Detection，TAD）、行为提议生成（Action Proposal
  Generation，APG）以及视频文本定位（Video Grounding，VG）。 ​

一、问题设定

现有的大多数方法都是针对视频分类进行设计和优化的。由于视频级分类和片段级定位的内在差异，这些预先训练的模型对于时间定位任务可能不是最优的。

二、数据集