LMS与RLS算法学习笔记

实现代码点击 这里下载

一、 研究目的

1.1最陡下降法理论

LMS算法总是与最陡下降法联合使用,顾名思义，最陡下降法就是沿着性能曲面最陡放方向向下(曲面负梯度方向)搜索曲面的最低点。迭代过程首先从曲面上某个初始点(对应与初始权矢量w(0) )出发，沿着该点负梯度方向搜索至第一点(对应与初始权矢量w(1) ,且w(1)等于初始值w(0)加上一个正比于负梯度的增量 )。以此类推，直到搜索到最低点 w^* 。所以最陡下降法迭代计算权矢量的公式为：
$$\mathbf{w}(\mathbf{n}+1)=\mathbf{w}(\mathbf{n})+\mu (-\nabla (n))$$
式中，$\mu$是控制搜索步长的参数称为自适应增益常数。那么如何选取合适的$\mu$值？
由于推到十分复杂，这里简单给出结论：
$$0<\mu <{\lambda }_{max}^{-1}$$
式中，${\lambda }_{max}$为$R（x(n)自相关矩阵）$的最大特征值。当然有时为了免去计算$R$的特征值的麻烦，因为$R$是正定的，所以有：
$$t_r[R]=\sum _{k=0}^L{\lambda }_k>{\lambda }_{max}$$
这里，$t_r[R]$是$R$的迹，它可以用输入信号的取样值进行估计，即：
$$t_r[R]=\sum _{k=0}^{L}E[x_i^2(n)]$$
所以进一步有：
$$0<\mu <t_r^{-1}$$