Token Recovering Attention (TRA)模型详解及代码复现

模型背景

在深入探讨TRA模型的核心思想之前，我们需要了解其诞生的背景。TRA模型是为了解决视频姿态Transformer (VPT) 中的 效率与精度权衡 问题而提出的。

传统的VPT模型在处理长序列数据时面临两大挑战：

1. 计算负担 ：随着输入序列长度的增加，模型的计算复杂度呈平方级增长。

2. 特征冗余 ：相邻帧之间的相似性导致视频中存在大量冗余信息。

TRA模型的创新点在于提出了一种基于沙漏结构的高效三维人体姿态估计框架，Hourglass Tokenizer (HoT)，旨在通过剪枝和恢复操作来优化模型效率，同时保持较大的时间感受野。这种方法为VPT模型在处理长序列数据时提供了一种新的思路，为后续的研究奠定了基础。

核心思想

TRA模型的核心思想源于对Transformer架构在处理长序列数据时的效率问题的深入思考。在Transformer模型中，自注意力机制的计算复杂度与输入序列长度的平方成正比，这使得处理长序列数据变得极为耗时。

为了解决这一问题，TRA模型提出了一种创新的方法：通过 动态选择和恢复关键信息 来优化计算效率。具体而言，TRA模型采用了一种