Improved Mixed-Example Data Augmentation论文阅读笔记

Improved Mixed-Example Data Augmentation

Abstract

本文致力于研究为什么mixed数据增强方式在改变标签的情况下还可以增加网络性能，并提出了一种更加泛化的方法进行实验。

Introduction

mixup认为对数据增加线性性能是一种有效的归纳偏向，Between-class learning for image classification则认为，CNN把数据当作波来处理，因此这样的数据增强方式会对数据内部的分布加上限制。

本文作者提出了一个问题：使用线性的方法融合是否是该方法的一个关键点？

Related Work

• Data Augmentation
• Regularization

Methods

General Formulation

普通的数据增强方式会保留标签，其表示为：
$$(\tilde{x},\tilde{y})=\tilde{f}(x,y)=(f(x),y)$$
在本文中，作者定义一个新的general方程来表示数据增强：
( x ~ , y ~ ) = f ~ ( { x i , y i } i = 1 2 ) (\tilde{x},\tilde{y})=\tilde{f}(\{x_i,y_i\}^2_{i=1}) (x~,y~​)=f~​({xi​,yi​}i=12​)
该方程可以理解为随机的将两个现有数据合成为一个新的数据。

Linearity-Based Methods

• mixup

  $\tilde{f}$可以写做:
  $$\begin{gathered} \tilde{x}=\lambda x_1+(1-\lambda )x_2 \\ \tilde{y}=\lambda y_1+(1-\lambda )y_2 \end{gathered}$$

• Between Class (BC+)

  将数据作为波来处理，因为波是均值为0的自然数据，因此首先对图像进行normalization处理（减去均值）。其次，在音频上，直接进行线性组合并没有图像的线性组合那样看起来恰当。为了解决这个问题，作者引入了标准差${\sigma }_1,{\sigma }_2$，因此：
  $$\begin{gathered} \tilde{x}=\frac{p(x_1-{\mu }_1)+(1-p)(x_2-{\mu }_2)}{\sqrt{p^2+(1-p{)}^2}} \\ wherep=\frac{1}{1+\frac{{\sigma }_1}{{\sigma }_2}\cdot \frac{1-\lambda }{\lambda }} \end{gathered}$$

Non-Linear Methods

• Vertical Concat
  KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \tilde{x}(r,c)…
  使用了concatenate方法，当$H$小于$\lambda H$的时候不变，否则替换为其他图片。

• Horizontal Concat
  KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \tilde{x}(r,c)…
  与vertical concat类似，只是改变了concat的维度。

• Mixed Concat

  使用了两个$\lambda$结合了以上两种方法。

• Random 2 × 2

  先分割成2x2的区域，再进行vertical concat或者horizontal concat

• VH-Mixup

  先做vertical concat和horizontal concat，然后再mixup

• VH-BC+

  先做vertical concat和horizontal concat，然后再BC+

• Random Square

  cutmix

• Random Column Interval

  cutmix的矩形区域替换成一个竖条状

• Random Row Interval

  cutmix的矩形区域替换成一个横条状

• Random Rows

  cutmix的矩形区域替换成多个横条状

• Random Columns

  cutmix的矩形区域替换成多个竖条状

• Random Pixels

  随机选择替换的pixel

• Random Elements

  随机选择替换的elements，与random pixels的区别是，pixels是二维平面的，elements是在三维空间的元素。

• Noisy Mixup

  认为没有必要让$\lambda$在整个图像上是相同的。相反，只要它的期望是相同的，就适用相同的标签。因此对$\lambda$添加均值为0的随机噪声，并在最后将其限制在0与1之间。