人工神经网络—反向传播算法（一）

1. 回顾

  在上一讲中，我们主要讲解了利用梯度下降法求解人工神经网络目标函数的局部极值的原理，在这个一讲中，我们将针对一个具体的神经网络讲解梯度下降法的具体求解过程。

2. 反向传播算法

  我们仍然来看这个简单的神经网络，前面讲到了这个神经网络待估计的参数共有9个，它们分别是$(w_{11},w_{12},w_{21},w_{22},w_1,w_2,b_1,b_2,b_3)$

假设目标函数为：
$$Minimize:E(w,b)=\frac{1}{2}(y-Y{)}^2$$

而 $y$ 的计算是按如下公式获得的：
  $a_1={\omega }_{11}{x}_1+{\omega }_{12}{x}_2+b_1$（第一个神经元）
  $a_2={\omega }_{21}{x}_1+{\omega }_{22}{x}_2+b_2$（第二个神经元）
  $z_1=\phi (a_1)$（非线性函数）
  $z_2=\phi (a_2)$（非线性函数）
  $y={\omega }_1{z}_1+{\omega }_2{z}_2+b_3$（第三个神经元）

那么相应地梯度下降法也要求我们求如下9个偏导数，分别是$(\frac{\partial E}{\partial w_{11}},\frac{\partial E}{\partial w_{12}},\frac{\partial E}{\partial w_{21}},\frac{\partial E}{\partial w_{22}},\frac{\partial E}{\partial w_1},\frac{\partial E}{\partial w_2},\frac{\partial E}{\partial b_1},\frac{\partial E}{\partial b_2},$