一文带你看懂CNN反向传播原理

看这篇文章，看官需要了解常规CNN模型的结构，并且了解结构下的各层计算逻辑。

OK，我们这次对CNN从全连接层到计算损失函数大致三个阶段进行推导和分析。

 

全连接层——激活层（一般只把它看做一个函数，但是其实keras里面把它作为一个层）——输出层（计算损失）

 

1、假设全连接层的输入（即上一层的输出）为x，全连接层的权重参数（神经元）为w，则全连接层的输出为

这个过程是一个矩阵的乘法运算。那为了计算的方便，我们就以两个变量举例，则全连接层输出为：

 

2、激活层的激活函数我们用relu，然后对于X的负轴方向我们不需要考虑，因为都是0嘛，那怎么计算都是0。假设正轴部分是y=kx，即斜率为k的x轴正向直线部分。于是