一、卷积神经网络
卷积层:卷积层得名于卷积运算,但卷积层中用到的并非卷积运算而是互相关运算。我们将核数组 (通常称为卷积核或过滤器(filter))上下翻转、左右翻转,再与输入数组做互相关运算,这一过程就是卷积运算。由于卷积层的核数组是可学习的,所以使用互相关运算与使用卷积运算并无本质区别。
卷积层的两个超参数:填充:在输入高和宽的两侧填充元素(通常是0元素)
步幅:在互相关运算中,卷积核在输入数组上滑动,每次滑动的行数与列数即是步幅(stride)
池化层:池化层主要用于缓解卷积层对位置的过度敏感性。同卷积层一样,池化层每次对输入数据的一个固定形状窗口(又称池化窗口)中的元素计算输出,池化层直接计算池化窗口内元素的最大值或者平均值,该运算也分别叫做最大池化或平均池化。
二、LeNet
Convolutional Neural Networks
使用全连接层的局限性:
- 图像在同一列邻近的像素在这个向量中可能相距较远。它们构成的模式可能难以被模型识别。
- 对于大尺寸的输入图像,