过拟合

hilton 在ImageNet Classfication with Deep Covolutional Neural Networks 文章中写道降低过拟合的方法：

写了两个方法：

1.data augmentation（数据增强）

数据增强有两种形式：

一：the first form of data augmentation consists of generating image translations and horizontal reflections。

      we do this by extracting random 224 *224 patches (and their horzontal  reflections （horzontal  reflections 是指的是什么操作）)from 256*256 images and training our network on these extracted patches .(这是为什么我们选择的输入图片是224*224*3 的原因，表示没有懂为什么)，this increase the size of our training set by a factor of 2048（这个操作把我们训练集的尺寸增大了2048倍，有那么大吗），尽管我们的训练样本高度的独立，without  this scheme（没有这一步），我们的训练样本将大量的过拟合。

因为有大量的过拟合，所以我们只能采用比较小的网络。

在测试的时候，网络抽取一副图片的5个patch （四个是corner 上的，一个是中心上的，然后又这五个的horizontal reflections），总计十个，通过神经网络的softmax 层 计算在这十个patch 上的预测值的平均。

二：the second form of data augmentation consists of altering （改变）the intensities of the RGB channels in training images（训练图像）。

特别是：we perform PCA on the set of RGB pixel values throughout the ImageNet training set。对于每一个训练样本，我们加上 multiples of found pricipal components，with magnitudes proportional to the 相应的特征值 times（乘以）一个随机变量（这个随机变量取自于一个均值为0 方差为0.1 的高斯分布）。因此对于每一个RGB 图像像素

      

2.Dropout （后来有人提出 Maxout）

未完待续