论文:Imagenet classification with deep convolutional neural networks
理解参考:http://www.cnblogs.com/gongxijun/p/6027747.html
http://blog.csdn.net/sunbaigui/article/details/39938097
核心技术:
1.使用水平翻转,随机裁剪,平移变换,颜色,光照变换等技术进行数据增强,增加数据量,减少过拟合的发生。
2.提出Dropout防止过拟合
3.使用ReLU激活函数,
ReLU本质上是分段线性模型,前向计算非常简单,无需指数之类操作;
ReLU的偏导也很简单,反向传播梯度,无需指数或者除法之类操作;
ReLU不容易发生梯度发散问题,Tanh和Logistic激活函数在两端的时候导数容易趋近于零,多级连乘后梯度更加约等于0;
ReLU关闭了右边,从而会使得很多的隐层输出为0,即网络变得稀疏,起到了类似L1的正则化作用,可以在一定程度上缓解过拟合
4. Local Response Normalization
利用近邻的数据做归一化。
5.Overlapping Pooling
6.双路GPU进行计算
成就:达到前所未有的识别准确率,将深度学习推向风口浪尖。
整个网络的结构如下图所示:
该模型一共分为八层,其中包含5个卷积层,3个全连接层,在每个卷积层中包含了激励函数Relu以及局部响应归一化处理,然后经过降采样/池化(pooling)处理.
一些相关概念:
http://www.jianshu.com/p/58168fec534d?from=androidqq
http://blog.csdn.net/cyh_24/article/details/51440344