按时间轴简述九大卷积神经网络

---

1998， Yann LeCun 的 LeNet5

图像特征分布在整个图像上
在具有很少参数的多个位置上提取类似特征时，具有可学习的参数的卷积是个比较有效的方法
在没有应用GPU的时候，能够保存参数和计算就成了一个关键优势
LeNet5并没有把每个像素都作为大型多层神经网络的一个输入，因为图像是高度空间相关的，如果用了这种方法，就不能很好地利用相关性

LeNet5 的主要特征：

• CNN 主要用这3层的序列： convolution, pooling, non-linearity
• 用卷积提取空间特征
• 由空间平均得到子样本
• 用 tanh 或 sigmoid 得到非线性
• 用 multi-layer neural network（MLP）作为最终分类器
• 层层之间用稀疏的连接矩阵，以避免大的计算成本