神经网络与深度学习（笔记二）

一、卷积

1. 定义

在数学中，两个函数（比如f, g : → R）之间的“卷积”被定义为

 对于离散对象，则为

 扩充至二维为

 2. 图像卷积

卷积层所表达的运算其实是互相关运算（cross-correlation），⽽不是卷积运算。在卷积层中，输⼊张量和核张量通过互相关运算产⽣输出张量，如下图所示：

 在⼆维互相关运算中，卷积窗⼝从输⼊张量的左上⻆开始，从左到右、从上到下滑动。当卷积窗口滑动到新 ⼀个位置时，包含在该窗口中的部分张量与卷积核张量进⾏按元素相乘，得到的张量再求和得到⼀个单⼀的 标量值，由此得出了这⼀位置的输出张量值。输出矩阵的大小与输入大小和卷积核大小的关系为

 3. 图像滤波

与一维信号滤波类似，图像滤波由卷积定义

 计算过程：首先将滤波器𝑓(𝑥, 𝑦)左右、上下反转：得到𝑓(−𝑥, −𝑦)，然后按照上述公式，根据先乘后累加的原则计算卷积。

4. 图像平滑

在一个小区域内（通常3*3），对像素值进行平均。

或者进行加权平均。

二、卷积神经网络

1. 基本概念

填充（Padding）：在矩阵的边界上填充一些值，以 增加矩阵的大小，通常用0或者复制边界像素来进行填充。

池化(Pooling)：使用局部统计特征，如均值或最大值，解决特征过多的问题。

2. LeNet

LeNet（LeNet-5）由两个部分组成：

• 卷积编码器：由两个卷积层组成;
• 全连接层密集块：由三个全连接层组成。

该架构如下图所示。

 网络输⼊是⼿写数字，输出为10种可能结果的概率。每个卷积块中的基本单元是⼀个卷积层、⼀个sigmoid激活函数和平均汇聚层。每个卷积层使⽤5 × 5卷积核和⼀个sigmoid激活函数。这些层将输⼊映射到多个⼆维特征输出，通常同时增加通道的数量。第⼀卷积层有6个输出通道，⽽第⼆个卷积层有16个输出通道。每个2 × 2池操作（步幅2）通过空间下采样将维数减少4倍。卷积的输出形状由批量⼤小、通道数、⾼度、宽度决定。

误差反向传播计算方法：

当前层是输出层时：

 当前层是隐含层时(按从后向前顺序更新)：

 之后，