ICCV 2021 | MultiSports：面向体育运动场景的细粒度多人时空动作检测数据集

今天介绍一个我们新提出的时空动作检测数据集MultiSports，同时也是DeeperAction比赛的赛道二。首先介绍一下什么是时空动作检测任务 (Spatio-Temporal Action Detection): 输入一段未剪辑的视频 (untrimmed video)，输出视频中人物的动作类别、动作发生的时序区间以及在此区间内的人物框。

现有数据集主要分为两大类：

• 以UCF101-24和JHMDB为代表的密集标注数据集 (25FPS)，这类数据集每个视频只有一种动作，大部分视频是单人在做一些语义简单的重复动作，动作类别与背景高度相关。

• 以AVA为代表的稀疏标注数据集 (1FPS)，由于稀疏标注，他们没有给出明确的动作边界，现有的方法更像是instance级别的动作识别，弱化时序定位；同时动作类别是日常的原子动作，运动速度慢、形变小，跟踪难度较低，分类不需要复杂的人与物与环境的建模和推理。

论文信息

论文链接：MultiSports: A Multi-Person Video Dataset of Spatio-Temporally Localized Sports Actions

比赛主页链接：DeeperAction/MultiSports

GitHub链接：MCG-NJU/MultiSports

研究动机

基于对现有数据集的分析，我们认为他们不能满足现实应用对时空动作检测技术的需求，需要提出一个新的数据集来推动这个领域的进步，我们希望这个数据集满足以下特征：

• 多人：在同一场景下，不同的人做不同的细粒度动作，减少背景提供的信息。

• 分类：细粒度动作类别，定义准确，需要刻画人物本身动作，长时信息建模，人与人、与物、与环境的关系建模，推理。

• 时序：动作边界定义准确。

• 跟踪：运动速度快，形变大，存在遮挡。

基于以上特点我们以集体运动作为数据集背景，选择了足球、篮球、排球、健美操四种运动共66种动作。

应用场景

除了学术研究，我们的MultiSports还有很多的落地场景。结合Re-ID技术，球类领域我们可以做每位球员的技术统计 (目前是人工统计)，例如在篮球中如果一个人接到队友传球之后没有任何其他动作直接投篮成功，则记为传球队友的一次助攻，如果一个人在投篮时有人来干扰投篮，那么这个投篮的难度指数会随着干扰投篮人数的增多而增大，这位球员成功后投篮技术评估则会更高，这些为制定训练计划、比赛策略和俱乐部之间球员交易提供信息，同时也可用于比赛解说、特效制作等；多人操领域我们可以做AI裁判，对运动员表现进行打分，在即将到来的东京奥运会，已将AI裁判引入了单人体操运动。我们相信竞技体育是计算机视觉一个很好的落地场景，而时空动作检测是其中一个很重要的技术。

标注手册