Data Augmentation for Video Recognition 论文笔记

最新推荐文章于 2024-09-18 12:22:14 发布

Tianchao龙虾

最新推荐文章于 2024-09-18 12:22:14 发布

阅读量2.7k

点赞数

分类专栏：视频动作识别论文笔记 Data Augmentation 文章标签：人工智能深度学习神经网络

本文链接：https://blog.csdn.net/wuchaohuo724/article/details/121439139

版权

Data Augmentation 同时被 2 个专栏收录

4 篇文章 0 订阅

订阅专栏

视频动作识别论文笔记

3 篇文章 1 订阅

订阅专栏

Learning Temporally Invariant and Localizable Features via Data Augmentation for Video Recognition

ECCV 2020

论文链接: https://arxiv.org/abs/2008.05721

一、 Problem Statement

图像识别中数据增强的目的是通过学习空间不变特征来增强泛化能力。比如，geometric (cropping，flipping，rotating等)，photometric (brightness，contrast，color等)，transformation，这些都可以对数据集中的不确定方差进行建模。尽管在图像识别中通过许多算法进行了改进，但在视频识别中对数据增强和正则化的研究却很少。

二、 Direction

在本文中，作者扩展了两个最近被广泛研究的空间增强技术的例子: 数据级增强和数据级混合。

对RandAugment的一个时间为度上的拓展，命名为RandAugment-T。
提出CutOut，MixUp，和CutMix在时间维度上的拓展。即对样本进行deleting，blending和cut-and-pasting。

三、 Method

1. 时间维度上的数据增强

作者拓展了RandAugment:

在视频剪辑中从第一帧到最后一帧的两个量级之间进行线性插值。但是，“旋转”、“剪切-x”、“剪切-y”、“平移-x”和“平移-y”可以建模随时间变化的几何变换，例如摄影机或对象移动。日光化、颜色、后期处理、对比度、亮度和锐度可以模拟光度变换，例如由于相机中的自动拍摄模式而导致的亮度或对比度变化。其余操作（标识、自动对比和均衡）没有在帧之间变化。

在这里插入图片描述

2. 时间维度上的删除，变形和裁剪-粘帖

对CutOut，MixUp，CutMix，等数据增强方法在视频上的探索。

作者提出了时间维度上的拓展，FrameCutOut，FrameCutMix，和空间与时间维度上的拓展，CubeCutOut，CubeCutMix。也提出了FadeMixUp，混合比随时间帧平滑变化。

它们具体的说明如下:

CutOut encourages the network to better use the full context of the images, rather than relying on a small portion of specific spatial regions. Similarly, FrameCutOut encourages the network to better use the full temporal context and the full spatiotemporal context by CubeCutOut。
CutMix is designed for the learning of spatially localizable features. Cut-andpaste mixing between two images encourages the network to learn where to recognize features. Similarly, FrameCutMix and CubeCutMix are designed for the learning of temporally and spatiotemporally localizable features in a video.
FadeMixUp can be modeled for temporal variations and can learn temporally
localizable feature without sharp boundary changes, like other cut-and-pasting
algorithms. Because many videos include these overlapping effects at the scene
change, FadeMixUp can be applied naturally

最终上面的方法可以总结为下表:

3. 实验结果

作者使用SlowFast-50，64 temporal frame作为backbone。作为baseline，应用基本数据增强，例如大小为160的随机裁剪、视频短边[160, 200]之间的随机缩放抖动以及随机水平翻转。

结果表明:

单独应用RandAugment可显著提高识别性能。如果使用RandAugment-T会有更好地性能。
在有限数量的训练数据集中，删除pathes、frames或spatiotemporal会降低识别性能。
temporal and spatiotemporal扩展策略的性能优于spatial-only混合策略。由于时间混合期间对象遮挡的概率低于空间混合期间，FrameCutMix的性能得到了最大的改善。
与删除、剪切和粘贴增强相比，混合显示了最好的性能。由于训练数据的数量有限，样本的线性凸组合可以轻松有效地扩充样本空间。

为什么提升不是很大?