NN推导:
A. 前向传播
注: 是第 层的输入加权和向量,输入层 ,是第层的 i 到第层的 j 的权值。
B. 反向传播
CNN推导:
OUT:
S4:
C3:
S2:注1。
C1:
注1:卷积的反向传播过程如下,参考神经网络的反向传播过程,l层的灵敏度等于该层神经元与l+1层有链接的神经元的权值乘以对应的l+1层的灵敏度,然后求和。例如:a只对应l+1层的Aa+Bb+Cd+De,其权值是A,所以l层的灵敏度是;e对应l+1层的所有,权值分别是D,C,B,A,所以l层的灵敏度是;总结卷积的反向传播过程可以发现,相当于将卷积核转180度再与l+1层的灵敏度做全卷积。
参考:
1.http://blog.csdn.net/u013007900/article/details/51428186
2.http://ufldl.stanford.edu/wiki/index.php/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C