cnn 反向传播推导_4.1.2 CNN反向传播

## 反向传播方向更新w和b的值：

反向传播的目的：求损失函数w和b的偏导数，其实也就是求损失函数在w和b方向上的梯度分量，然后用在梯度方向上更新w和b最后是损失函数降到最小。是不是很绕口，你也可以这样理解其实反向传播就是去更新参数的一种方法。二话不说先上例子一看就明白：

> 此例子出自：https://zhuanlan.zhihu.com/p/23270674

> 注意：每一个小圆圈相当于上面图像中的一个灰度值

来简单告诉读者推导过程吧(其实就是链式)！


先初始化权重和偏置量，得到如下效果：


**因为计算向后传播必须现有向前传播所以我们先来计算向前传播：**

1. 先计算h1 的输入：**net_h1 =w1 \* i1 + w2 \* i2 +b1 * 1**，代入数据可得：net_h1 =0.15\*0.05 +0.2\* 0.1+0.35\* 1=0.3775;

2. 然后利用logistic函数计算得h1 的输出:out_h1=1 / {1+e^-net_h1 } =1/{1+e^-0.3775 }=0.593269992;

3. 用同样的方法得out_h2=0.596884378；

4. 对输出层神经元重复这个过程，使用隐藏层神经元的输出作为输入。这样就能给出o_{1} 的输出：


5. 开始统计所有的误差：


**计算反向传播**：

1. 输出层 对于w5，想知道其改变对总误差有多少影响，于是得：dEtotal / dw5

2. 隐藏层

**最后，更新了所有的权重！ 当最初前馈传播时输入为0.05和0.1，网络上的误差是0.298371109。 在第一轮反向传播之后，总误差现在下降到0.291027924。 它可能看起来不太多，但是在重复此过程10,000次之后。例如，错误倾斜到0.000035085。

在这一点上，当前馈输入为0.05和0.1时，两个输出神经元产生0.015912196(相对于目标为0.01)和0.984065734(相对于目标为0.99)。很接近了O(∩_∩)O~~**