Paper-info
-
title : SCSampler: Sampling Salient Clips from Video for Efficient Action Recognition[CVPR-2019]
-
author : Bruno Korbar, Du Tran, Lorenzo Torresani.
-
insight : Sampling Salient Clips.
Contribution
- Saliency-clip sampler
- Saliency Ranking Loss
其中,f 表示在对应数据集上训练好的public的分类模型,Phi_n(i)表示第n个video的第i个clip,s表示clip-saliency-net.
Approach
- step - 1. 将untrimmed-video数据集[以Sports1M为例]中的每个video都划分为指定长度的clips;
- step - 2. download一个在Sports1M训练好的public的分类模型,并对step-1产生的每个clip进行预测,保存预测结果;
- step - 3. 选择一个轻量级的网络作为clip-salient-net,采用文中定义的Saliency Ranking Loss进行训练;
- step - 4. 使用clip-salient-net预测每个untrimmed-video的top-K的salient-clips,然后用这些salient-clips重新训练分类模型;
- step - 5. 测试时,先用clip-salient-net获取top-K的salient-clips,然后再输入step-4的分类模型做预测!
Experiments(K=10)
- Sports 1M
- Kinetics
- Cross-dataset and cross-classifier