【cs231n】卷积神经网络及反向传播

卷积神经网络

CNN一般由卷积层、池化层、全连接层三种类型的层构成。

卷积层

一些概念：

• 感受野：即每个神经元与输入数据的局部区域连接的空间大小，其大小为卷积核尺寸（F），深度永远与输入数据的深度相同。
• 步长：卷积核在输入数据上滑动时，每步所移动的像素大小
• 零填充：为了使得输出与输入保持同样的大小而仅仅在深度上不同，需要在输入数据四边进行零填充。

假设输入数据体大小：$W_1\times H_1\times D_1$，输出为$W_2\times H_2\times D_2$。并规定四个超参数：卷积核尺寸$F$，卷积核数量$K$，步长$S$，零填充数量$P$。则：

• $W_2=\left(W_1-F+2P\right)/S+1$、 $H_2=\left(H_1-F+2P\right)/S+1$、$D_2=K$
• 该卷积层共有$(F\cdot F\cdot D_1+1)\cdot D_2$个参数

用公式表示为：${\mu }_{ij}={\sum }_{p=1}^f{\sum }_{q=1}^f{x}_{i+p-1,j+q-1}\times w_{pq}+b$，其中$pq$为卷积核的角标。

池化层

池化层的作用时降低数据体的空间大小，从而减小计算参数数量。池化过程仅仅改变数据体的大小，不改变其深度。
假设输入数据体大小：$W_1\times H_1\times D_1$，输出为$W_2\times H_2\times D_2$。并规定四个超参数：滤波器尺寸$F$，步长$S$。则：

• $W_2=\left(W_1-F\right)/S+1$、$H_2=\left(H_1-F\right)/S+1$、$D_1=D_2$

反向传播

卷积层反向传播

反向传播要计算损失函数对卷积核$\frac{\partial L}{\partial W}$、偏置$\frac{\partial L}{\partial b}$以及输入图像的导数$\frac{\partial L}{\partial X}$。

卷积层正向传播的公式为$${\mu }_{ij}=\sum _{p=1}^f\sum _{q=1}^f{x}_{i+p-1,j+q-1}\times w_{pq}+b$$实例如下：$$\left[\begin{array}{ll}{u}_{11}& u_{12}\\ u_{21}& u_{22}\end{array}\right]=\left[\begin{array}{lll}{x}_{11}& x_{12}& x_{13}\\ x_{21}& x_{22}& x_{23}\\ x_{31}& x_{32}& x_{33}\end{array}\right]\ast \left[\begin{array}{ll}{w}_{11}& w_{12}\\ w_{21}& w_{22}\end{array}\right]+\left[\begin{array}{ll}b& b\\ b& b\end{array}\right]$$$$=[\begin{array}{l}{x}_{}\end{array}$$