BP核心思想是将输出误差以某种形式通过隐层向输入层逐层反传。
→
\to
→ 误差分摊,修正权值
g
j
g_j
gj 为输出神经元的梯度项
e
h
e_h
eh 为隐层神经元的梯度项
提示:上文中的
∂
E
k
∂
b
h
\frac{\partial E_k}{\partial b_h}
∂bh∂Ek 对
b
h
b_h
bh求偏导,由于
l
l
l个
y
^
k
\hat{y}^k
y^k 都对应着一个
b
h
b_h
bh,这里可以根据理解或者直接根据链式求导法则求和
∑
j
=
1
l
\sum_{j=1}^{l}
∑j=1l。
BP中的复合函数求导: