【人工智能深度学习】卷积网络的细节与优势以及自然信号的性质

原始 CNN 和向现代 CNN 的演变

小数据集上的原始卷积神经网络

受福岛视觉皮层模型的启发，Yann LeCun 教授于 1988-1989 年在多伦多大学使用简单/复杂的细胞层次结构并结合监督训练和反向传播，开发了第一个CNN。实验使用320个用鼠标写成数字的小型数据集比较了以下架构的性能：

1. 单FC（全连接）层
2. 两层FC
3. 没有共享权重的本地连接层
4. 带有共享权重和本地连接的受限网络
5. 带有共享权重和本地连接的受限网络的改版（更多功能图）

性能最好的架构（具有共享权重的受限网络）具有最强的泛化能力，成为现代 CNN 的基础。 然而单独的 FC 层则有过拟合的倾向。

贝尔实验室：第一个“真正的”卷积网络

转到贝尔实验室后，LeCunn 的研究转向使用美国邮政服务的手写邮政编码来训练更大的 CNN：

• 256 (16$\times$16) 输入层
• 12 5$\times$5 步幅为 2 的卷积核 (每步前进 2 个像素): 下一层分辨率下降
• 没有单独的汇合层

有汇合层的卷积网络架构

第二年的改进是引入了单独的汇合层，暨通过对输入求均值，添加偏差并传递给非线性函数（双曲正切函数）来完成。2$\times$2 汇合的步幅为2，因此分辨率降低一半。