Motivation
- 视觉节奏[e.g : 快、慢动作]刻画了action的动态信息和时序范围,对Visual tempo建模有利于行为识别;
- 现存的方法[以slowfast[2019-ICCV]为代表]通过构造可以接受不同帧率的子网络来对视觉节奏建模,功耗较高;
- TPN的两个基本组成部分,即特征的来源和融合,形成了主干的特征层次结构,它可以捕获各种速节奏的动作实例;
Code
- TPN[Project Page][Github]
Details
- Pipeline
- Spatial Semantic Modulation
- Temporal Rate Modulation
1
- Information Flow
Experiment
- Benchmark
- Ablation
1
Inference
[1].Temporal Pyramid Network for Action Recognition[CVPR-2020]