神经网络的 Delta 学习规则（learning rule）

1. $\delta$ 学习规则

1986 年，由认知心理学家 McClelland 和 Rumellhart 在神经网络训练中引入了 $\Delta$ 学习规则，该规则亦可称为连续感知器学习规则（与离散感知器学习规则相并行）。$\Delta$ 规则的学习信号规定为：

$$r=\left(d_j-f(w_j^Tx)\right)f'(w_j^Tx)=\left(d_j-o_j)\right)f'(\text{net}_j)$$

$j$ 表示不同的迭代过程。上式定义的学习信号称为 $\delta$。显然 $\delta$ 规则要求转移函数可导。

2. 由 $\delta$ 规则到最小平方误差

定义神经元输出与期望输出之间的平方误差为：

$$E=\frac12\left(d_j-o_j\right)^2=\frac12\left(d_j-f(w_j^Tx)\right)^2$$

欲使误差 $E$ 最小，梯度的变化方向应是负梯度方向：

$$\Delta w_j=-\eta \nabla E$$

其中：

$$\nabla E=-\left(d_j-f(w_j^Tx)\right)f'(w_j^Tx)x$$

因此：

$$\Delta w_j=\eta\left(d_j-f(w_j^Tx)\right)f'(w_j^Tx)x=\eta\left(d_j-f(w_j^Tx)\right)f'(\text{net}_j)x$$