LMS 权值更新法则

关于训练样例<b，Vtrain(b)>， 其中b为各个特征值和期望值的序偶。如果目标函数表示成:
            V(b)=W0+W1*X1+W2*X2+W3*X3+W4*X4+W5*X5+W6*X6
对于每一个训练样例<b，Vtrain(b)>

            • 使用当前的权计算V(b)^

            • 对每一个权值wi进行如下更新

                        Wi←Wi+η(Vtrain(b)-V^(b)) Xi
            这里η是一个小的常数（比如0.1）用来调整权值更新的幅度。为了直观地理解这个权值更新法则的工作原理，请注意当误差（Vtrain(b）-V^(b)）为0时，权不会被改变。当(Vˆtrain(b)-V^(b))为正时（例如，当V^(b)太低时）每一个权值会根据其对应特征值增加一定的比例。这会提升V^(b)的值而减小误差。注意如果某个特征值(参数)Xi为0，那么它的值不会因这个误差而改变，这样便使只有那些在训练样例中确实出现的特征的权值才被更新。
平方逼近。