第五次 LMS算法

一、LMS算法

全称 Least mean square 算法。中文是最小均方算法。

感知器和自适应线性元件在历史上几乎是同时提出的，并且两者在对权值的调整的算法非常相似。它们都是基于纠错学习规则的学习算法。感知器算法存在如下问题：不能推广到一般的前向网络中；函数不是线性可分时，得不出任何结果。而由美国斯坦福大学的Widrow和Hoff在研究自适应理论时提出的LMS算法，由于其容易实现而很快得到了广泛应用，成为自适应滤波的标准算法。

均方差这个概念的公式如下所示： 

 （1） 
上述公式中的R表示正确的预期结果，C表示当前计算结果。这个便是LMS算法中终止算法的核心公式。 
如何得到当前计算结果C的公式如下所示： 
 （2） 
i表示输入值，W表示输入端所对应的权值，对这两个值进行乘法运算后，并求和。对于求和的结果可以进行一定处理，比如大于0的O便为1；否则就为-1。 
用于调整输入端权值的公式如下所示： 
 （3） 
在算法运行时，不断利用公式（2）进行输入端的权值调整，使权值越来越接近正确值。其中w便是输入端所对应的权值，I是输入值，它表示学习参数，一般为小于1的正数。 

LMS算法步骤：