CNN反向传播计算过程
- 传统的神经网络是全连接形式的,如果进行反向传播,只需要由下一层对前一层不断的求偏导,即求链式偏导就可以求出每一层的误差敏感项,然后求出权重和偏置项的梯度,即可更新权重。
- 卷积神经网络有两个特殊的层:卷积层和池化层。池化层输出时不需要经过激活函数,是一个滑动窗口的最大值,一个常数,那么它的偏导是1。池化层相当于对上层图片做了一个压缩,这个反向求误差敏感项时与传统的反向传播方式不同。从卷积后的feature_map反向传播到前一层时,由于前向传播时是通过卷积核做卷积运算得到的feature_map,所以反向传播与传统的也不一样,需要更新卷积核的参数。
2、CNN卷积层反向传播
例子:输入是一个4*4 的image,经过两个2*2的卷积核进行卷积运算后,变成两个3*3的feature_map
以卷积核filter1为例 (stride = 1 ):
计算第一个卷积层神经元o11的输入NetO11和输出Out011:
Neto11=conv(input,filter)
=i11×h11+i12×h12+i21×h21+i22×h22
=1×1+0×(−1)+1×1+1×(−1)=1
Outo11=activators(neto11)=max(0,neto11)=1
示例:
同样的方法,计算所有神经元的输入和输出:(此处使用Relu激活函数)
|
neto11=i11×h11+i12×h12+i21×h21+i22×h22 neto12=i12×h11+i13×h12+i22×h21+i23×h22 neto13=i13×h11+i14×h12+i23×h21+i24×h22 neto21=i21×h11+i22×h12+i31×h21+i32×h22 neto22=i22×h11+i23×h12+i32×h21+i33×h22 neto23=i23×h11+i24×h12+i33×h21+i34×h22 neto31=i31×h11+i32×h12+i41×h21+i42×h22 neto32=i32×h11+i33×h12+i42×h21+i43×h22 neto33=i33×h11+i34×h12+i43×h21+i44×h22 |
计算池化层的输入和输出:
netm11=max(o11,o12,o21,o22)=1
outm11=netm11=1
3、数学计算过程
(1)(链式求导)
首先计算卷积的上一层的第一个元素i11的误差项δ11:
然后对输入元素i(i,j)求偏导:
同样的方法计算其他元素对误差的偏导。
(2)观察一下上面几个式子的规律,归纳一下,可以得到如下表达式:
图中的卷积核进行了180°翻转,与这一层的误差敏感项矩阵Delta( i,j ),
周围补零后的矩阵做卷积运算后,就可以得到∂E/∂i11 :
权重的梯度:
偏置项的梯度:
根据梯度即可修改权重。
二、CNN可视化
CNN 可视化:滤波器
深度卷积核检测图像更高层次的特征
CNN的应用
计算机视觉:人脸识别、无人超市、自动驾驶、医学影像诊断