机器学习笔记 invariance & data augmentation

1 Invariance vs. Sensitivity

无论是对于图像、文本还是视频，我们都希望找到好的向量表示

好的向量表示需要对我们任务所关心的特征敏感：

• 动物识别问题中，动物的品种就是一个值得关心的特征
• 语音识别中，音素(区分词的最小单位)就是一个值得关心的特征

好的特征也需要对任务所不关心的特征保持不变性：

• 动物识别问题中，动物的位置、背景颜色、动物的动作等，应该不关心，需要保持不变性
• 语音识别问题中，口音方言应该不关心，需要保持不变性

2 Inductive Bia 归纳偏差

Induction ≈ learning from data

归纳偏差是指模型和学习算法倾向于学习某些类型的函数。

比如CNN倾向于平移不变性、SGD倾向于flat minimum

机器学习笔记：CNN卷积神经网络_UQI-LIUWJ的博客-CSDN博客_cnn卷积神经网络

 3 数据增强 data augmentation

使得input处于同一分布，同时保证label不变

3.1 数据增强的好处

• 帮助网络学习更鲁棒和不变的特征
• 它创造了更多的数据。更多的数据是好的，如果它们和我们期望在未来看到的数据分布一致。

4 数据增强举例

4.1 水平翻转

 

4.1.1 为什么鲜有垂直翻折 ？

我们先看一般性的情况，垂直翻折只是其中的特例

一开始，数据很少，因此我们可能会有很多可能的分界线

如果我们使用数据增强，获得了很多同分布或者相似分布的数据，那么我们可以减少我们分界线的选择 

 但是如果我们数据增强获得的数据和原来已有的训练数据分布不同，那么我们可能会得到不正确的分界线

 而我们的图片一般都是正着拍的，所以如果我们垂直翻转图片，会影响整体图片的分布，可能会导致不正确的分界线。

4.2  Cropping 裁剪

通过随机裁剪和调整比例，可以帮助网络识别大小略有不同的目标。

平移和遮挡的不变性

4.3 旋转 rotation

旋转和朝向的不变性

4.4 颜色抖动

•模拟光照变化和白平衡问题

4.5   cutout

随机去除一部分的像素（一般是一个长方形形状的像素）

为了更好地保持整体图像的平均值，我们可以将去除的像素点设置为各channel上的均值

cutout的作用是来模拟遮挡，同时可以让模型只关注于某一部分之外其它部分的特征

比如这张图，我们就可以说，模型考虑的是狗的眼睛之外的其他特征