卷积神经网络的发展史

1. LeNet：第一个成功的卷积神经网络应用
2. AlexNet：类似LeNet，但更深更大。使用了层叠的卷积层来抓取特征（通常是一个卷积层马上一个max pooling层）
3. ZF Net：增加了中间卷积层的尺寸，让第一层的stride和filter size更小。
4. GoogLeNet(Inception)：减少parameters数量，最后一层用max pooling层代替了全连接层。
5. VGGNet：只使用3x3 卷积层和2x2 pooling层从头到尾堆叠。
6. ResNet：引入了跨层连接和batch normalization。
7. DenseNet：将跨层连接从头进行到尾。

8. 与平移不变性不同，最初的卷积网络并没有明确照顾尺寸不变性这一特点。我们知道filter的size是事先选择的，而不同的尺寸所寻找的形状（概念）范围不同。
   从直观上思考，如果选择小范围，再一步步通过组合，仍然是可以得到大范围的形状。 如3x3尺寸的形状都是可以由2x2形状的图形组合而成。所以形状的尺寸不变性对卷积神经网络而言并不算问题。 这恐怕ZF Net让第一层的stride和filter size更小，VGGNet将所有filter size都设置成3x3仍可以得到优秀结果的一个原因。但是，除了形状之外，很多概念的抓取通常需要考虑一个像素与周边更多像素之间的关系后得出。也就是说5*5的filter也有它的有点，同时，小尺寸的堆叠需要很多个filter来共同完成，如果需要抓取的形状恰巧在5*5的范围，那么5*5比3*3更有效率，所以一次性使用多个不同的filter size来抓取多个范围不同的概念是一种顺利成章的想法，这个就是Inception,可以说Inception为了尺寸不变性而引入的一个先验知识。

   9.残差网络用于图片残缺，因为像之前的前馈神经网络或卷积神经网络都是一层一层逐步变换的，假如图片缺失，导致某一层不完善，则预测困难，即先验知识缺失。即当这一层需要上一层的信息时可以直接用，所以不需要池化层去掉冗余信息，Inception的1*1也有相似的作用，但是其仍有权重悬系，而且结合方式是concatenate(合并)成一个更大的向量，而ResNet的结合方式是相加。两种各有特长。合并当需要用不同的维度去组合成新观念时更有利，而相加更适合并存，比如既有有头发，又有胖身躯的为程序猿
   https://www.zhihu.com/question/39022858