LMS权值更新法则(Least mean squares,最小均方)

训练样例(X,V(X)), 其中X为特征值和权重的内积W*X。
如果目标函数表示成:
V(X)=W0+W1*X1+W2*X2+W3*X3+W4*X4+W5*X5+W6*X6
对于每一个训练样例(X,V(X))
使用当前的权计算V(X)
对每一个权值wi进行如下更新
Wi←Wi+η(V(X)-V
(X)) Xi (其中V(X)为训练集的期望值(人工标注的值),V`(X)为经验值(模型计算出来的值))

这里η是一个小的常数(比如0.1)用来调整权值更新的幅度,称作步长或者学习率。
如何理解LMS权值更新:
当误差(V(X)-V(X))为0时,权不会被改变。即当经验值和期望值相同的时候说明当前的权重W是比较符合真实模型(假设空间中最对的那个模型)的,W不需要调整。
当(V(X)-V
(X))为正时说明V(X)是低于期望值的,此时就要升高V(X), 所以每一个权值会根据其对应特征值增加一定的比例。这会提升V(X)的值而减小误差。当V(X)高于V(X)的值的时候是同样的道理。
注意如果某个特征值(参数)Xi为0,那么它的值不会因这个误差而改变,这样便使只有那些在训练样例中确实出现的特征的权值才被更新。
LMS算法通常用于权值更新,使得模型逐渐逼近真实模型。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值