本文详细介绍了深度学习中的几个标志性网络结构，包括AlexNet、VGG、NIN、GoogLeNet、ResNet和DenseNet。从它们的创新点如Relu激活函数、LRN、卷积核大小、残差学习、密集连接等方面进行阐述，揭示了这些网络如何解决深度学习中的过拟合、退化问题，以及如何通过结构优化提高模型性能。
AlexNet
ImageNet Classification with Deep Convolutional Neural Networks
1、引入了Relu(x) = max(0,x)激活函数，并验证其效果在较深的网络超过了Sigmoid。
2、用最大池化代替了平均池化。
3、在全连接层加入了dropout，避免过拟合。
4、引入了局部响应归一化(LRN)，对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元。
VGG
VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION
与Alexnet相比：
1、去掉了LRN层，作者发现深度网络中LRN的作用并不明显，干脆取消了。
2、采用更小的卷积核
最低0.47元/天 解锁文章
3174
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
