卷积神经网络之AlexNet取得成功的原因

使用了如下方法：
1、防止过拟合：Dropout、数据增强
数据增强：增加训练数据量是避免过拟合的好方法，并且能提升算法的准确率。但是当训练数据量有限时，可以通过一些变换从已有的训练数据集中生成一些新数据，来扩大训练数据量。通常采用的变形方法有以下几种：
– 水平翻转图像
– 从原始图像随机地平移变换出一些图像
– 给图像增加一些随机的光照（又称光照、彩色变换、颜色抖动）
Dropout：AlexNet做的是以0.5的概率将每个隐层神经元的输出设置为0，以这种方式被抑制的神经元既不参与前向传播，也不参与反向传播。因此每次输入一个样本，就相当于该神经网络尝试了一个新结构，但是所有这些结构之间应该共享权重。因此某个神经元不能依赖于其它神经元而存在，所以这种技术降低了神经元之间复杂的互适应关系。因此网络需要被迫学习更为强健的特征，这些特征在结合其它神经元的一些不同随机子集时很有用。但是0.5的Dropout使收敛所需的迭代次数大致增加一倍。
2、非线性激活函数的使用：ReLU。用非线性激活函数relu代替sigmoid/tanh，发现得到的SGD的收敛速度快了很多。
3、大数据训练：120万的ImageNet图像数据
4、GPU实现，LRN（local responce normalization）规范化层的使用