学习链接
基本概念
计算机视觉比赛 ILSVRC(ImageNet Large Scale Visual Recognition Challenge)使用的数据集都来自ImageNet,其拥有1500w张标注过的高清图片,22000类别,100w标注了定位边框。每年度 ILSVRC比赛数据集拥有120w图片。ILSVRC 2015年冠军152层ResNet在ImageNet 上的错误率达到3.57%超过人类,说明卷积神经网络基本解决了ImageNet数据集上的图片分类问题。
梯度弥散
梯度下降法(以及相关的L-BFGS算法等)在使用随机初始化权重的深度网络上效果不好的技术原因是:梯度会变得非常小。具体而言,当使用反向传播方法计算导数的时候,随着网络的深度的增加,反向传播的梯度(从输出层到网络的最初几层)的幅度值会急剧地减小。结果就造成了整体的损失函数相对于最初几层的权重的导数非常小。这样,当使用梯度下降法的时候,最初几层的权重变化非常缓慢,以至于它们不能够从样本中进行有效的学习。这种问题通常被称为“梯度的弥散”.
浅层学习(Shallow Learning)
Mnist
AlexNet
VGGNet
VGGNet(Visual Geometry Group)探索了CNN的深度与其性能直接的关系,成功的构筑了16~19层深的CNN。获得了2014年 ILSVRC比赛分类项目第二名和定位项目第一名,用来提取图像特征泛化性好。idea:全部使用3*3kernel
和2*2maxpooling
,不断加深网络提升性能。卷积消耗参数量较小,但卷积训练较耗时(反馈梯度计算)。1*1conv
主要在于线性变换没有降维,没有3*3conv
好。