VideoMix: Rethinking Data Augmentation for Video Classification
VideoMix
论文链接: https://arxiv.org/abs/2012.03457
代码地址:https://github.com/jayChung0302/videomix
一、 Problem Statement
对于视频识别任务中的数据增强策略缺乏广泛的研究。 作者试验图像域(static image-domain)数据增强策略对视频数据的有效性,特别是基于特征消除(feature erasing)的策略,这些策略可以提高模型的鲁棒性和通用性
二、 Direction
提出VideoMix,即拓展CutMix到视频序列。
三、 Method
VideoMix提出了三种形式,分别为Spatial,Temporal,和Spatio-temporal。其实就是把另外一个视频,插入到视频A中的三种形式。第一种就是在时间上全部存在,但是空间上有区别。第二种是时间上只存在一部分,但是空间大小一样。第三种是两种都不一样。性能如下:
可以看到,Spatial VideoMix是其中最好的。 作者认为,是由于视频必须保证足够数量的帧来表示视频类别的语义信息。时间VideoMix或时空VideoMix在剪切和粘贴的视频长方体中的语义内容方面受到限制。相反Spatial VideoMix保留了完整的时间语义。
下面给出具体的例子:
第一个是原始视频A,第二个是原始视频B。第三个就是VideoMix。
其在动作识别数据集 (something-something-v2)上的实验效果:
四、 Conclusion
拓展了CutMix,提出了VideoMix。对视频识别的data augmentation方法。