神经网络与深度学习（三）

一、卷积神经网络基础

基本概念
定义：卷积（Convolution），也叫褶积，是分析数学中一种重要的运算。在信号处理或图像处理中，经常使用一维或二维卷积。 这里我们只考虑离散序列的情况。

以图像处理为例，输入信息X和卷积核（滤波器）W的二维卷积定义为Y = W ∗ X

注意根据卷积定义，计算时需要对卷积核进行翻转（指旋转180°），观察上例中-1和1的位置变化。
事实上在机器学习和图像处理领域，通常使用不翻转卷积替代，即互相关（Cross-Correlation），其公式为Y = W ⊗ X = r o t 180 ( W ) ∗ X ，计算时卷积核不翻转。
步长（Stride）是指卷积核在滑动时的时间间隔；填充（Padding）是在矩阵的边界上填充一些值，以增加矩阵的大小，通常用0或者复制边界像素来进行填充。

网络结构：卷积神经网络一般由卷积层、汇聚层和全连接层构成。

二、基本卷积神经网络

LeNet-5

LeNet-5[LeCun et al., 1998] 虽然提出的时间比较早，但它是一个非常成功的神经网络模型。

AlexNet
Alexnet一共有8层可学习层——5层卷积层和3层全连接层，是第一个现