LeNet-5
第一次用CNN来做手写体识别,网络比较浅,只有5层。
AlexNet
- 其在LeNet上做了一些改进,同时由于当时GPU容量不足,其特征图的前向计算和梯度的反向传播是在两张GPU上并行进行的。
- 其获得了2012年的ImageNet的冠军
ZFNet
- 其在AlexNet上做了一些超参数的优化,但是主要结构还是类似的,获得了2013年的ImageNet的冠军。
VGGNet
- 其的关键特点是固定使用 3X3尺寸的卷积核,和 2X2尺寸的池化核,相比于AlexNet其的深度更深,当然,参数也更多。
- Q: 为什么使用 3X3 的卷积核?*
- A: 两层 3 X 3 的 conv(步长为1),堆叠起来感受野(receptive field)与一个 7 * 7 的卷积核相同。但是,其参数量更小,而且能够组成更深的网络,更多的非线性激活,形成的特征更丰富。即参数量为