图像分类网络总结回顾（上）

---

前言

由于在寒假学习目标检测的时候，在yolo，rcnn，SSD等目标检测的学习过程中，其backbone是是用到了图像分类网络，因此就要系统的学习下相关的经典的图像分类网络。以便更好的理解学习目标检测，为课题提供强有力的支撑。
本次记录算是对这周学习网络的一个总结，主要针对各个网络有何亮点以如何实现的进行一个回顾。

---

一、AlexNet分类网络

AlexNet分类网络来自于文章《ImageNet Classification with Deep Convolutional Neural Networks》，是2012年的ImageNet竞赛中来自多伦多大学的Alex Krizhevsky等人取得冠军的一个模型整理后发表的文章。

该网络的亮点在于：

1. 首次利用GPU进行网络加速训练
2. 使用了ReLU激活函数，而不是传统的Sigmoid激活函数以及Tanh激活函数（使其梯度下降速度更快，因而训练模型所需的迭代次数大大降低）
3. 使用的LRN局部响应归一化（Local Response Normalization）（在神经网络中，我们用激活函数将神经元的输出做一个非线性映射，但是tanh和sigmoid这些传统的激活函数的值域都是有范围的，但是ReLUctant激活函数得到的值域没有一个区间，所以要对ReLU得到的结果进行归一化，也就是LRN）
4. 在全连接层的前两层中使用了Dropout随机失活神经元操作，以减少过拟合。

其网络层结构为

二、LeNet分类网络

LeNet分类网络来自于LeCun在1998年发表的文章《Gradient-Based Learning Applied to Document Recognition》（基于梯度的学习应用于文档识别）
其网络结构为

三、VGG分类网络

VGG分类网络在2014年由牛津大学著名研究组VGG（Oxford Visual Geometry Group）提出，该团队斩获2014年ImageNet挑战赛分类第二（第一是GoogLeNet），定位任务第一。来自于论文《VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION》

其网络中的亮点：

1. 通过堆叠多个$3\times$