人工神经网络 - 后向传播算法（Back Propogation）

---

一、人工神经网络 - 后向传播算法

本质上就是梯度下降法（Gradient Descent Method）求极值。

1. 找一个w₀
2. 设 k = 0，假设 d f(w) / d w = 0，退出，否则 w_k+1 = w_k - a (d f(w) / d w)|w_k

二、推导 BP 算法

1.运用实际例子推导 BP

以如下例子进行讲解，X是二维向量，φ是一个非线性函数，E是目标函数，是为了对函数进行优化，系数1/2是为了求导方便。

存在 w₁₁ w₁₂ w₂₁ w₂₂ b₁ b₂ b w₁ w₂ 九个未知数 ， 我们要做的就是利用获得的数据去求解这些未知量。

下图是利用梯度下降对所有参数进行优化的过程。

BP问题的重点在于第二点，如何求 əE / əw 和 əE / əb&