CNN、LeNet

一、卷积神经网络

卷积层：卷积层得名于卷积运算，但卷积层中用到的并非卷积运算而是互相关运算。我们将核数组 (通常称为卷积核或过滤器（filter）)上下翻转、左右翻转，再与输入数组做互相关运算，这一过程就是卷积运算。由于卷积层的核数组是可学习的，所以使用互相关运算与使用卷积运算并无本质区别。

卷积层的两个超参数：填充：在输入高和宽的两侧填充元素（通常是0元素）

                                    步幅：在互相关运算中，卷积核在输入数组上滑动，每次滑动的行数与列数即是步幅（stride）

池化层：池化层主要用于缓解卷积层对位置的过度敏感性。同卷积层一样，池化层每次对输入数据的一个固定形状窗口（又称池化窗口）中的元素计算输出，池化层直接计算池化窗口内元素的最大值或者平均值，该运算也分别叫做最大池化或平均池化。

 

二、LeNet

Convolutional Neural Networks

使用全连接层的局限性：

• 图像在同一列邻近的像素在这个向量中可能相距较远。它们构成的模式可能难以被模型识别。
• 对于大尺寸的输入图像，