【论文复现】Temporal Pyramid Network for Action Recognition

论文地址： https://arxiv.org/abs/2004.03548

导读：这篇文章是香港中文大学和商汤发表在CVPR 2020 的文章
作者提出TPN网络，用于视频分类问题的解决，思想和slowfast的思想相似

在相同速率下很难识别出来走、慢走和跑的动作，不同的视频帧速率对检测结果影响很大，现有的视频模型设计忽略了视觉速度这一至关重要的点
在此之前facebook的kaiming提出slowFast （代码地址）网络结构的想法很相似，快慢结合的网络，上面一个分支是slow网络，输入低帧率，用于捕获空间语义信息；下面一路是fast网络，用于捕获运动信息，具体如下图：

上面两个图，下面六个图，呈现出来了金字塔形状，不同尺度的下采样送入网络，问题在于需要重复提取不同时间尺度上的特征，计算花费很大

所以提出来了解决方法：

第一部分

时间尺度

1. 在不同分辨率的特征图中，以不同的帧速率提取不同组合的特征图，并形成新的特征图

2. 以单个分辨率特征图为例，将特征图 F(C ×T ×W ×H) 根据 {r1, …, rM; r1 < r2 < … < rM} 划分组合得到新的特征图
   $$F\{C\times \underset{r^1}{}$$