论文地址: https://arxiv.org/abs/2004.03548
导读:这篇文章是香港中文大学和商汤发表在CVPR 2020 的文章
作者提出TPN网络,用于视频分类问题的解决,思想和slowfast的思想相似
在相同速率下很难识别出来走、慢走和跑的动作,不同的视频帧速率对检测结果影响很大,现有的视频模型设计忽略了视觉速度这一至关重要的点
在此之前facebook的kaiming提出slowFast (代码地址)网络结构的想法很相似,快慢结合的网络,上面一个分支是slow网络,输入低帧率,用于捕获空间语义信息;下面一路是fast网络,用于捕获运动信息,具体如下图:
上面两个图,下面六个图,呈现出来了金字塔形状,不同尺度的下采样送入网络,问题在于需要重复提取不同时间尺度上的特征,计算花费很大
所以提出来了解决方法:
第一部分
时间尺度
-
在不同分辨率的特征图中,以不同的帧速率提取不同组合的特征图,并形成新的特征图
-
以单个分辨率特征图为例,将特征图 F(C ×T ×W ×H) 根据 {r1, …, rM; r1 < r2 < … < rM} 划分组合得到新的特征图
F { C × X r 1 × W × H , ⋯ , C × T r M × W × H } F\left\{ C × \frac{X}{r^1} × W × H, \cdots ,C × \frac{T}{rM} × W × H \right\} F{ C×r1