SCSampler

Paper-info

• title : SCSampler: Sampling Salient Clips from Video for Efficient Action Recognition[CVPR-2019]

• author : Bruno Korbar, Du Tran, Lorenzo Torresani.

• insight : Sampling Salient Clips.

Contribution

• Saliency-clip sampler

                                             

• Saliency Ranking Loss

                                                     

                                            

      其中，f 表示在对应数据集上训练好的public的分类模型，Phi_n(i)表示第n个video的第i个clip，s表示clip-saliency-net.

Approach

• step - 1. 将untrimmed-video数据集[以Sports1M为例]中的每个video都划分为指定长度的clips;
• step - 2. download一个在Sports1M训练好的public的分类模型，并对step-1产生的每个clip进行预测，保存预测结果；
• step - 3. 选择一个轻量级的网络作为clip-salient-net，采用文中定义的Saliency Ranking Loss进行训练；
• step - 4. 使用clip-salient-net预测每个untrimmed-video的top-K的salient-clips，然后用这些salient-clips重新训练分类模型；
• step - 5. 测试时，先用clip-salient-net获取top-K的salient-clips，然后再输入step-4的分类模型做预测！

Experiments(K=10)

• Sports 1M

        

• Kinetics

        

• Cross-dataset and cross-classifier