卷积网络总结(1)
在进行详细介绍之前先上个图:
(下面图片参照:http://blog.csdn.net/cyh_24/article/details/51440344)
这张图很好的说明了卷积网络的大致发展脉络,接下来我们对这些网络进行介绍,除此之外我们还将对DenseNet和EfficientNet进行介绍(其中一些缓解过拟合的操作,如Dropout、LRN等我们会再写一篇博客中进行总结介绍)
1、1998年LeNet-5
LeNet-5网络广泛用于手写字体识别(MNIST),它的结构比较简单,如下:
该网络内部的一些操作与当前使用的大部分网络存在不小的差别。第一点,由于该结构的卷积层没有padding操作,所以卷积层也会导致其分辨率的下降;第二点,池化操作稍微复杂一点,该池化在计算完输入的平均值之后,还会再乘以一个可学习的系数另外再加上一个可学习的偏置项;第三点,C3卷积层中的大部分神经元并不是与S2层的6张图都相连,而是只与其中的三张或四张特征图相连;第四点,一般的输出层都是计算输入和权重的相乘,而该网络的输出却是输入和权重之间欧式距离的平方,每一个输出衡量了图像属于某一类具体数字的程度。
2、2012年AlexNet(参数量大大增加)
跟LeNet-5网络有些相似,但是更大更深一些。该网络的一大特色就是直接的