Deep Learning-TensorFlow (3) CNN卷积神经网络_AlexNet前瞻

前言：实习面试的时候，被问到有关深度学习和 AlexNet 的问题，答得并不是很好... 在此记录一些学习内容，相互学习提高。

参考论文：ImageNet Classification with Deep Convolutional Neural Networks, Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton, 2012

1. 简介(Introduction)

Alex Krizhevsky 在2012年的论文 ImageNet Classification with Deep Convolutional Neural Networks 使用了一些改良 CNN 方法去解决普适物体识别难题，效果惊人。在 ILSVRC-2010 大赛中使用过的 ImageNet (由多于22,000个种类中超过1500万张带标签的高分辨率图像组成) 的子集上，训练了当时最大型的卷积神经网络之一，在测试数据得到了 top-1 误差率37.5%，以及 top-5 误差率17.0%的优秀效果；在ILSVRC-2012大赛中，输入了该模型的一个变体，并依靠 top-5 测试误差率15.3%取得了胜利。

该神经网络有6000万个参数和650,000个神经元，由五个卷积层，以及某些卷积层后的 max-pooling 层，三个全连接层，以及最后的 1000-way 的 softmax 层组成。为了使训练速度更快，使用了非饱和的 ReLu 激活函数和多 GPU 上的高效卷积运算工具 CUDA；同时为了减少全连接层的过拟合，采用了重叠 Pooling