卷积层back propagation公式的推导

f是激活函数，a是激活函数的输入，z是激活函数的输出，W是滤波器系数，b是偏置

显然有：

（1）

（2）

k是滤波器输出通道数，c时输入的feature map通道数（输入通道数），i，j，s，t都是二位坐标的index

每一层输出（未通过激活函数前）处的反向传播误差：

（3）

首先推导反向传播误差的递推公式

（4）

注意： a)（1）中的前向公式事实上不是卷积，做的是相关运算。（4）中的反向公式才做的是卷积。

b) （4）中，k‘ 实际上变为反向传播时的输入通道数，k变为输出通道数。delta 变为反向传播时 输入的feature map

下面推导cost相对于W，b的梯度公式

（5）

（6）