深度学习入门--label-preserving transformations(标签保留 转换）

在Alexnet论文当中，提到label-preserving transformations,这是一种减少过拟合的方式。也就是在不影响图像标签的前提下，对图片进行变换，以达到数据增强的目的。通过这种方式增大我们的数据集，来减少过拟合。
论文中介绍了两种数据增强方式：
1#第一种数据增强方式包括产生图像变换和水平翻转。我们从256×256图像上通过随机提取224 × 224的图像块实现了这种方式，然后在这些提取的图像块上进行训练。这通过一个2048因子增大了我们的训练集，尽管最终的训练样本是高度相关的。没有这个方案，我们的网络会有大量的过拟合，这会迫使我们使用更小的网络。在测试时，网络会提取5个224 × 224的图像块（四个角上的图像块和中心的图像块）和它们的水平翻转（因此总共10个图像块）进行预测，然后对网络在10个图像块上的softmax层进行平均。[2]
2#第二种数据增强方式包括改变训练图像的RGB通道的强度。具体地，我们在整个ImageNet训练集上对RGB像素值集合执行PCA。对于每幅训练图像，我们加上多倍找到的主成分，大小成正比的对应特征值乘以一个随机变量，随机变量通过均值为0，标准差为0.1的高斯分布得到。因此对于每幅RGB图像像素$I_{x}y=[I_{xy}^R,I_{xy}^G,I_{xy}^B{]}^T$，我们加上下面的数量：
$$[p_1,p_2,p_3][{\alpha }_1{\lambda }_1,{\alpha }_2{\lambda }_2,{\alpha }_3{\lambda }_3{]}^T$$
$p_i$，${\lambda }_i$分别是RGB像素值3 × 3协方差矩阵的第$i$个特征向量和特征值，${\alpha }_i$是前面提到的随机变量。对于某个训练图像的所有像素，每个${\alpha }_i$只获取一次，直到图像进行下一次训练时才重新获取。这个方案近似抓住了自然图像的一个重要特性，即光照的颜色和强度发生变化时，目标身份是不变的。这个方案减少了top 1错误率1%以上。[2]

Reference：
[1] https://www.cnblogs.com/RyanXing/p/9813602.html
[2] AlexNet论文翻译——中英文对照