Future Transformer for Long-term Action Anticipation论文阅读

Future Transformer for Long-term Action Anticipation论文阅读

相关内容

论文名称: Future Transformer for Long-term Action Anticipation(CVPR’22)

论文作者: Dayoung Gong, Joonseok Lee, Manjin Kim, Seong Jong Ha, Minsu Cho

论文地址:https://arxiv.org/abs/2205.14022

代码地址:暂未公布

背景

长时行为识别

基于有限的过去观察,预测未来长时的序列.与当前短期行为预测不同,短期行为预测旨在间隔1秒(或者其他秒级范围内,1s作为大多数论文评测标准),预测1s后动作.短期行为预测更关注于特征级,长期行为预测之间没有间隔,同时时间跨度要比短期长的多,之前一些工作侧重于标签级输入,近些年一些论文也转为特征级输入.

论文动机

1. 之前方法的编码器过度压缩了输入帧的特征导致一些细粒度特征的时序关系不再被保留
2. 以RNN作为decoder的模型,首先受限于长时建模问题,较难获取输入序列的长时依赖关系以及全局角度的过去和未来动作关系.
3. 以自回归形式做预测会出现错误累积问题,随着时间增长在某一处预测出错后续均会出错.

本文方法简介

1. 错误累积问题->transformer,decoder直接输出预测序列
2. 细粒度特征丢失问题->损失函数设计,学习具有区分度的特征表示,encoder通过动作分割学习动作独特性,decoder并行预测未来动作
3. 长时建模问题->选用transformer架构,架构本身更能捕获全局关系

方法介绍

问题设定

输入: 待输入视频分为T帧,其中$\alpha T$作为可以观测部分,其中$\alpha \in [0,1]$,相应的$\beta \in [0,1-\alpha ]$,$\beta T$作为待预测序列.输入序列$I^{past}=[I_1,...,I_{\alpha T}{]}^T\in {\mathbb{R}}^{\alpha T\ast H\ast W\ast 3}$

输出:未来序列标签$S^{\text{future }}={\left[s_{\alpha T+1},\dots ,s_{\alpha T+\beta T}\right]}^{\top }\in {\mathbb{R}}^{\beta T\times K}$,其中未来标签的形式为标签和持续时间,分别为$\mathbf{A}={\left[{\mathbf{a}}_1,\dots ,{\mathbf{a}}_N\right]}^{\top }\in {\mathbb{R}}^{N\times K}$和$\mathbf{d}=\left[d_1,\dots ,d_N\right]\in {\mathbb{R}}^N$其中$d$为比例 ${\sum }_{j=0}^N{d}_j=1$,最终输出形式上如下:
$$s_{\alpha T+t}=a_i,\beta T\sum _{j=0}^{i-1}{d}_j<t\le \beta T\sum _{j=0}^i{d}_j$$

整个网络部分详细设计图如下图:

Enocder部分

过去全部帧$F^{}$