从神经网络到卷积神经网络数学推导

NN推导：

A． 前向传播

注： 是第 层的输入加权和向量，输入层 ，是第层的 i 到第层的 j 的权值。

B． 反向传播

CNN推导：

OUT：

S4：

C3：

S2：注1。

C1：

注1：卷积的反向传播过程如下，参考神经网络的反向传播过程，l层的灵敏度等于该层神经元与l+1层有链接的神经元的权值乘以对应的l+1层的灵敏度，然后求和。例如：a只对应l+1层的Aa+Bb+Cd+De,其权值是A，所以l层的灵敏度是；e对应l+1层的所有，权值分别是D，C，B，A，所以l层的灵敏度是；总结卷积的反向传播过程可以发现，相当于将卷积核转180度再与l+1层的灵敏度做全卷积。

参考：

1.http://blog.csdn.net/u013007900/article/details/51428186

2.http://ufldl.stanford.edu/wiki/index.php/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C