D.D.Hebb学习规则举例——神经网络的训练算法
X1
学习常数在这里则设为
学习过程有以下步骤:
第一步
net1
更新的权是
W2
其中在表达式右边的下标表示当前调节步数。
第二步
W3
第三步
W4
由上可见,具有离散f(net)和η = 1的学习分别产生加整个输入模式向量到权向量中或者从权中减去整个输入模式向量。在连续f(net)的情况,权增加/减少向量按比例缩小到输入模式的分数值。
下面看一个具有连续双极激活函数f(net),用输入X1和初始权W1的Hebb学习例子。
同在第一步概况那样,我们得到神经元输出值和对于 λ=1
f(net)
通过计算可得
f(net1)
W2
通过对比离散的和连续的激活函数,可见 对于连续的激活函数,权调节成锥形,但是一般是在同一方向上的。
以上,就是关于Hebb学习规律的简单的例子。