经典网络结构AlexNet《ImageNet Classification with Deep Convolutional Neural Networks》

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Julialove102123/article/details/71159716

论文地址:http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

论文翻译:http://www.cnblogs.com/zf-blog/p/6432709.html

2012年,Alex Krizhevsky发表了AlexNet,它是LeNet的一种更深更宽的版本,网络扩大(5个卷积层+3个全连接层+1个softmax层)并以显著的优势赢得了困难的ImageNet竞赛。

AlexNet 将LeNet的思想扩展到更大的能学习到更复杂的对象层次的神经网络上。这项工作的贡献

1)使用修正的非线性单元(ReLU);

2)训练时候使用Dropout技术有选择的忽视单个神经元,Data augmentation扩充数据,LRN归一化层从而避免过拟合;

3)覆盖进行最大池化,避免平均池化的平均化效果;

4)使用GPU NVIDIA GTX580减少训练时间;

LRN层,对局部神经元的活动创建竞争机制,使得其中响应比较大的值变得相对更大,并抑制其他反馈较小的神经元,增强了模型的泛化能力。


前后几层(对应位置的点)对中间这一层做一下平滑约束

 GPU比CPU提供更多数量的核,训练时间可以提升10倍。这又反过来允许使用更大的数据集和更大的图像。AlexNet的成功掀起了一场小革命。卷积神经网络现在是深度学习的骨干。它已经变成了现在能够解决有用任务的大型神经网络的代名词。



没有更多推荐了,返回首页