使用了如下方法:
1、防止过拟合:Dropout、数据增强
数据增强:增加训练数据量是避免过拟合的好方法,并且能提升算法的准确率。但是当训练数据量有限时,可以通过一些变换从已有的训练数据集中生成一些新数据,来扩大训练数据量。通常采用的变形方法有以下几种:
– 水平翻转图像
– 从原始图像随机地平移变换出一些图像
– 给图像增加一些随机的光照(又称光照、彩色变换、颜色抖动)
Dropout:AlexNet做的是以0.5的概率将每个隐层神经元的输出设置为0,以这种方式被抑制的神经元既不参与前向传播,也不参与反向传播。因此每次输入一个样本,就相当于该神经网络尝试了一个新结构,但是所有这些结构之间应该共享权重。因此某个神经元不能依赖于其它神经元而存在,所以这种技术降低了神经元之间复杂的互适应关系。因此网络需要被迫学习更为强健的特征,这些特征在结合其它神经元的一些不同随机子集时很有用。但是0.5的Dropout使收敛所需的迭代次数大致增加一倍。
2、非线性激活函数的使用:ReLU。用非线性激活函数relu代替sigmoid/tanh,发现得到的SGD的收敛速度快了很多。
3、大数据训练:120万的ImageNet图像数据
4、GPU实现,LRN(local responce normalization)规范化层的使用
卷积神经网络之AlexNet取得成功的原因
最新推荐文章于 2022-12-28 23:19:19 发布