全新数据增强方式KeepAugment，简单高效提升模型精度！-CSDN博客

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

作者丨Edison_G

来源丨计算机视觉研究院

导读

数据增强(DA)是深度学习训练过程中，必不可少的模块。数据增强的方法有很多，本文提出了一种简单有效的增强方式，KeepAugment，控制数据增强的保真度，从而减少干扰因素的错误信息。在图像分类、半监督图像分类、多视点多摄像机跟踪和目标检测等方面，都取得了不错的效果。

一、前言&简要

为了缓解上述问题，有研究者提出了一种简单而高效的方法，称为保持增强（KeepAugment），以提高增强图像的保真度。其主要思想是首先使用显著性map来检测原始图像上的重要区域，然后在增强过程中保留这些信息区域。这种信息保护策略使我们能够生成更忠实的训练示例。

在实验上，也证明了该方法在一些现有的技术数据增强方案上有了显著的改进，例如：自动增强、裁剪、随机擦除，在图像分类、半监督图像分类、多视点多摄像机跟踪和目标检测等方面取得了很好的效果。

二、知识回顾

首先我们回顾一下什么是“数据增强”？

数据增强（Data Augmentation）是一种通过让有限的数据产生更多的等价数据来人工扩展训练数据集的技术。它是克服训练数据不足的有效手段，目前在深度学习的各个领域中应用广泛。但是由于生成的数据与真实数据之间的差异，也不可避免地带来了噪声问题。

为什么需要数据增强？

深度神经网络在许多任务中表现良好，但这些网络通常需要大量数据才能避免过度拟合。遗憾的是，许多场景无法获得大量数据，例如医学图像分析。数据增强技术的存在是为了解决这个问题，这是针对有限数据问题的解决方案。数据增强一套技术，可提高训练数据集的大小和质量，以便您可以使用它们来构建更好的深度学习模型。在计算视觉领域，生成增强图像相对容易。即使引入噪声或裁剪图像的一部分，模型仍可以对图像进行分类，数据增强有一系列简单有效的方法可供选择，有一些机器学习库来进行计算视觉领域的数据增强。

比如：imgaug (https://github.com/aleju/imgaug)

它封装了很多数据增强算法，给开发者提供了方便。

计算视觉数据增强

计算视觉领域的数据增强算法大致可以分为两类：第一类是基于基本图像处理技术技术的数据增强，第二个类别是基于深度学习的数据增强算法。下面先介绍基于基本图像处理技术的数据增强方法：

1、flipping翻转

一般都是水平方向翻转而少用垂直方向，即镜像变换。图像数据集上证实有用（CIFAR-10，ImageNet等），但无法应用在文本识别数据集（MNIST，SVHN等）

2、color space色彩空间

简单做法是隔离单个色彩通道，例如R，G或B，此外可以通过简单的矩阵运算以增加或减少图像的亮度。更高级的做法从颜色直方图着手，更改这些直方图中的强度值（想到了图像处理中的直方图均衡）。

3、cropping裁剪

分统一裁剪和随机裁剪。统一裁剪将不同尺寸的图像裁剪至设定大小，随机裁剪类似translation，不同之处在于translation保留原图尺寸而裁剪会降低尺寸。裁剪要注意不要丢失重要信息以至于改变图像标签。

4、rotation旋转

要注意旋转度数。以MNIST为例，轻微旋转（例如1°-20°）可能有用，再往后增加时数据标签可能不再保留。

5、translation位置变换

向左，向右，向上或向下移动图像可能是非常有用的转换，以避免数据中的位置偏差。例如人脸识别数据集中人脸基本位于图像正中，位置变换可以增强模型泛化能力。

6、noise injection添加噪声

添加高斯分布的随机矩阵

7、color space transformations色彩空间增强

照明偏差是图像识别问题中最常见的挑战之一，因此色彩空间转换（也称为光度转换）的比较直观有效。

①遍历图像以恒定值减少或增加像素值（过亮或过暗）

②拼接出（splice out）各个RGB颜色矩阵

③将像素值限制为某个最小值或最大值

④操作色彩直方图以改变图像色彩空间特征

注意将彩色图转换黑白虽然简化了这些操作，但精度会降低

geometric versus photometric transformations几何与光度转换：

1、kernel flters内核过滤器

平滑和锐化，即图像处理中用卷积核滑过整幅图像的操作。这一点尚未开发，它和CNN中卷积机制非常相似（就一样啊），因此可以通过调整网络参数更好地改善网络，而不需要额外进行这样的数据增强操作。

2、mixing images图像混合

做法是通过平均图像像素值将图像混合在一起：

mixing images

研究发现是当混合来自整个训练集的图像而不是仅来自同一类别的实例的图像时，可以获得更好的结果。其它一些做法：

①一种非线性方法将图像组合成新的训练实例：

非线性方法

②另一方法是随机裁剪图像并将裁剪后的图像连接在一起以形成新图像：

随机裁剪再拼接

这类方法从人的视角看毫无意义，但确实提升了精度。可能解释是数据集大小的增加导致了诸如线和边之类的低级特征的更可靠表示。

3、random erasing随机擦除

这一点受到dropout正规化的启发，随机擦除迫使模型学习有关图像的更多描述性特征，从而防止过拟合某个特定视觉特征。随机擦除的好处在于可以确保网络关注整个图像，而不只是其中的一部分。最后随机擦除的一个缺点是不一定会保留标签（例如文本8->6）。

三、新方法

新方法控制数据增强的保真度，从而减少有害的错误信息。研究者的想法是通过显著性映射测量图像中矩形区域的重要性，并确保数据增强后始终呈现得分最高的区域：对于裁剪，通过避免切割重要区域（见下图a5和b5）；对于图像级转换，通过将重要区域粘贴到转换图像顶部（参见下图a6和b6）。

Eq2：

Eq3：

四、实验

CIFAR-10:

https://www.cs.toronto.edu/˜kriz/cifar.html

open-source code:

https://github.com/clovaai/CutMix-PyTorch

open-ReID:

https://github.com/Cysu/open-reid

本文仅做学术分享，如有侵权，请联系删文。

3D视觉工坊精品课程官网：3dcver.com

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
 4.国内首个面向工业级实战的点云处理课程
 5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
 6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
 7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
 8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

15.国内首个3D缺陷检测教程：理论、源码与实战

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：