又一任务被Transformer攻陷！NVIDIA开源HORST，用Transformer解决早期动作识别和动作预期任务...-CSDN博客

本文链接：https://blog.csdn.net/moxibingdao/article/details/122677990

NVIDIA推出HORST，一种基于Transformer的高阶递归层设计，用于早期动作识别和动作预期任务，取得显著效果。HORST通过时空分解的自注意机制，在Something-Something和EPIC-Kitchens数据集上表现优秀，展示出Transformer在视频预测任务中的潜力。

摘要由CSDN通过智能技术生成

关注公众号，发现CV技术之美

本文分享论文『Higher Order Recurrent Space-Time Transformer for Video Action Prediction』，由 NVIDIA 开源《HORST》，用Transformer解决 Early Recognition 和 Anticipation 任务，惊叹又一任务被Transformer攻陷！

详细信息如下：

论文链接：https://arxiv.org/abs/2104.08665
项目链接：https://github.com/CorcovadoMing/HORST

导言：

赋予机器强大的视觉预测能力是迈向大规模视频智能的关键一步。目前，这方面的主要建模范式是序列学习，主要通过LSTM来实现。在语言处理的深度学习应用中，Feed-forward Transformer结构已经取代了递归模型设计，在计算机视觉中Transformer也部分取代了递归模型设计。

在本文中，作者研究了Transformer结构在视频预测任务中的能力。为此，作者提出了HORST，这是一种高阶递归层设计，其核心设计是视频自注意的时空分解。HORST在Something-Something数据集上基于早期动作识别（early action recognition）任务和在EPIC-Kitchens数据集上基于动作预期（action anticipation）任务实现了不错的性能，这表明了更高层次的自注意设计的有效性。

Motivation

从视频中识别人的行为是计算机视觉中一个被广泛研究的问题。大多数工作已经将动作识别作为视频片段分类问题来处理，最近几乎所有方法都使用深度学习，推动了从视频中进行时空特征学习的发展。

视频片段的动作识别中的一个基本假设是完整性和同步观察，即，要被识别的动作是立即可访问的，并且完全表示在视频片段中。这种完备性假设不适用于动作预测任务，即根据对过去的观察来预测未来。

实际上，随着时间的推移，观测可能会逐渐细化，以执行和重新验证未来的预测。这些都是基于视频预测的许多真实世界应用之间共享的需求，例如人机协作、实时视频监控和自动驾驶。