深度学习——卷积神经网络原理解析（Convolution layer）

深度学习——卷积神经网络原理解析（Convolution layer）

简介

• 卷积主要应用于计算机视觉领域，经常用于特征的提取、目标检测、人脸检测与识别等任务。卷积是同于一系列加乘法运算完成，核心是卷积核(filter),还有一些参数：strid（s）、pad、weights。下面介绍卷积层的前向传播和反先传播过程。

前向传播(fowardpropagation)

• 前向传播比较容易理解，就是卷积核和对应输入数据的区域先进行点积运算，再把一个矩阵里面数据求和得到一个数。
  
• $l$：代表第$l$层(conv layer)
• $f^{(l)}$:卷积核的尺寸( filter size)
• $p^l$:pad的大小
• $s^{(l)}$: stride的大小
• $n_c^l$: 卷积核个数
• 每个卷积＆的尺寸 $f=f^l\ast f^l\ast n_c^{l-1}$
• 卷积完输出的尺寸： $a^l=n_H^l\ast n_W^l\ast n_c^l$
• $n_H=\lfloor \frac{n_H^{l-1}+2p^{(l)}-f^l}{s^l}\rfloor +1,n_W=\lfloor \frac{n_W^{l-1}+2p^{(l)}-f^l}{s^l}\rfloor +1$
• $z_{(nh,nw,c)}^l=np.sum(W_c\ast aslice+b_c)$
• 一个卷积层参数个数： numbers= $(f\ast f\ast n_C^{l-1}\ast +1)\ast n_C^l，1代表参数b$
  比如输入数据data 维度$3\ast 3\ast 3$,filter大小为3，$n_C^l=20$,参数总个数为：$(3\ast 3\ast 3+1)\ast 20=560$

反向传播（backpropagation）

$$d{A}^{l-1}+=\sum _{c=1}^{n_C}\sum _{i=1}^{n_H}\sum _{j=1}^{n_W}{W}_c^l\ast d{Z}_{(i,j,c)}^l(1)$$
$$d{W}_c^l=\sum _{i=1}^{n_H}\sum _{j=1}^{n_W}{a}^{l-1}\ast d{Z}_{(i,j)}^l(2)$$
$$d{b}^l=\sum _{i=1}^{n_H}\sum _{j=1}^{n_W}d{Z}_{(i,j)}^l(3)$$