深度学习Backbone网络系列（一）

目录

AlexNet

VGG

GoogLeNet

Inception V1

Inception V2&v3

Inception V4，Inception-Res-v1&v2

---

---

---

AlexNet

2012年ImageNet竞赛冠军获得者Hinton和他的学生Alex Krizhevsky设计的。首次在CNN中成功应用了ReLU、Dropout和LRN等Trick。ReLU激活函数比Sigmoid性能好，有助于加深网络层次，并在ReLU之后添加了Normalization操作（即LRN）；Dropout缓解了过拟合问题；LRN（局部响应归一化），对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力；池化层全部采用max-pooling，避免平均池化的模糊化效果。同时AlexNet也使用了GPU进行运算加速。

百度百科中的数据增强部分：

 个人认为，增加的数据量为2*(256*256-224*224)=30720倍，这一块不是很懂，请指正，谢谢！

LRN参考

---

VGG

VGG模型是2014年ILSVRC竞赛的第二名。特点：

• 小卷积核。卷积核全部为3x3（极少用了1x1）；

• 小池化核。全部为2x2的池化核；

• 通道数多。可以提取更多的特征信息；

• 层数更深特征图更宽。基于前两点外，由于卷积核专注于扩大通道数、池化专注于缩小宽和高，使得模型架构上更深更宽的同时，计算量的增加放缓；

• 卷积层替换全连接层。网络测试阶段将训练阶段的三个全连接替换为三个卷积，测试重用训练时的参数，使得测试得到的全卷积网络因为没有全连接的限制，因而可以接收任意宽或高的输入。