LMS自适应滤波器

最小均方误差自适应滤波器

1. wiener filter

   上一篇中介绍了维纳滤波器在时域的闭式解，分别得到最重要的两个公式如下

最优权值：
$${\mathbf{h}}_{\mathbf{o}\mathbf{p}\mathbf{t}}={\mathbf{R}}^{-1}\ast {\mathbf{r}}_{\mathbf{d}\mathbf{x}}\text{\hspace{1em}(1)}$$
最小均方误差:
$$\begin{array}{rl}E[e^2(n){]}_{min}& ={\sigma }_d^2-{{\mathbf{r}}_{\mathbf{d}\mathbf{x}}}^H{\mathbf{h}}_{\mathbf{o}\mathbf{p}\mathbf{t}}\\ & ={\sigma }_d^2-{{\mathbf{r}}_{\mathbf{d}\mathbf{x}}}^H{\mathbf{R}}^{-1}\ast {\mathbf{r}}_{\mathbf{d}\mathbf{x}}\end{array}\text{\hspace{1em}(2)}$$

  维纳-霍夫方程在理论分析中占有重要地位，但在实际应用中却有一些局限，看公式就可以发现，有以下两个缺点

• 求解过程需要对矩阵求逆

• 求解需要知道信号的先验信息(相关函数)

  这两个缺点限制了维纳-霍夫方程的实际应用，那么，下面就看看怎么去缓解这两个问题

2. 最陡下降法（Steepest Descent Method)

  先看第一个问题，矩阵求逆，解决这个问题似乎更偏向于一个纯数学问题了，维纳滤波器就是要寻找一组权系数${\mathbf{w}}_0$(黑体的都表示向量)，使得对任意$\mathbf{w}$,都有
$$J({\mathbf{w}}_0)\le J(\mathbf{w})\forall \mathbf{w}\text{\hspace{1em}(3)}$$
  矩阵求逆是一步计算得到结果，现在我们希望以迭代的方式得到最优解

  先给定一个初始值$\mathbf{w}(0)$，然后产生$\mathbf{w}(1)$、$\mathbf{w}(2)$、$\mathbf{w}(3)\cdots$过程中$J$都是逐步减小的，公式描述如下
$$J(\mathbf{w}(n+1))\le J(\mathbf{w}(n))\text{\hspace{1em}(4)}$$
  现在就是要找到一种从$\mathbf{w}(n)到\mathbf{w}(n+1)$的更新方式，使得(4)式成立。

最陡下降法的思想就是让代价函数沿着最大梯度的负方向调整变量，先写出代价函数的一阶梯度如下
$$\mathbf{g}=\Delta J(\mathbf{w})=\frac{\partial J}{\partial \mathbf{w}}\text{\hspace{1em}(5)}$$
  将代价函数在$\mathbf{w}(n)$处一阶泰勒展开
$$\begin{array}{rl}J(\mathbf{w})& =J(\mathbf{w}(n))+(\mathbf{w}-\mathbf{w}(n))\ast \Delta J\end{array}\text{\hspace{1em}(6)}$$
  现在要递推下一时刻的代价函数
$$\begin{array}{rl}J(\mathbf{w}(n+1))=& J(\mathbf{w}(n))+(\mathbf{w}(n+1)-\mathbf{w}(n))\ast \mathbf{g}\end{array}\text{\hspace{1em}(7)}$$
  定义最陡下降法权值更新方式如下
$$\mathbf{w}(n+1)=\mathbf{w}(n)-\frac{1}{2}\mu \mathbf{g}(n)\text{\hspace{1em}(8)}$$
  这个$\frac{1}{2}$的作用下面可以看到，将(8)使代入到(7)中，可以得到如下
$$\begin{array}{rl}J(\mathbf{w}(n+1))=& J(\mathbf{w})-\frac{1}{2}\mu {\Vert \mathbf{g}\Vert }^2\end{array}\text{\hspace{1em}(7)}$$
  所以$J(\mathbf{w}(n+1))\le J(\mathbf{w})$恒成立，也就是在合适的$\mu$值下，使用(8)的权值更新方式，代价函数是在逐步减小的。

  既然有了权值的的更新方式，那再来看看维纳滤波器的时域解

  上一篇中已经推导了误差函数对权值的导数如下式
$$\begin{array}{rl}\frac{\Delta E[e^2(n)]}{w_i}=2& \sum _{m=0}^{M-1}{r}_{xx}(i-m)\ast w(m)-\\ 2& r_{xd}(-i),i=0,1....M-1\\ =2& \mathbf{R}\ast \mathbf{w}-2\mathbf{P}\end{array}\text{\hspace{1em}(8)}$$
  最陡下降法的权值更新就变为
$$\mathbf{w}(n+1)=\mathbf{w}(n)-\mu (\mathbf{R}\ast \mathbf{w}-\mathbf{P})\text{\hspace{1em}(9)}$$
  这样，求解最优权值的过程就利用迭代避免了矩阵求逆，同时也可以看到(8)中的$\frac{1}{2}$是用来消掉系数2的

3. LMS 滤波器

  上面的最速下降法解决了求最优权值过程中的矩阵求逆问题，那么，还有第二个问题，求解需要知道信号的相关函数

  维纳滤波的推导中已经知道代价函数对权值的求导如下
$$\begin{array}{rl}\Delta J=2& \mathbf{R}\ast \mathbf{w}(n)-2\mathbf{p}\end{array}\text{\hspace{1em}(10)}$$
  其中的
$$\begin{array}{rl}\mathbf{R}& =E[\mathbf{u}\ast {\mathbf{u}}^{\mathbf{H}}]\\ \mathbf{p}& =E[\mathbf{u}\ast d(n)]\end{array}\text{\hspace{1em}(11)}$$
  这里面有个烦人的期望符号$E$，一个未知环境中是无法提前知道这种统计平均的量的，只会知道瞬时值，那就先用瞬时值代替这个统计平均量
$$\begin{array}{rl}\hat{\mathbf{R}}(n)& =\mathbf{u}\ast {\mathbf{u}}^{\mathbf{H}}\\ \hat{\mathbf{p}}(n)& =\mathbf{u}\ast d(n)\end{array}\text{\hspace{1em}(12)}$$
  将(12)代入到最速下降法的更新公式(9)中就得到的LMS的更新公式
$$\begin{array}{rl}\mathbf{w}(n+1)& =\mathbf{w}(n)-\mu (\hat{\mathbf{R}}\ast \mathbf{w}-\hat{\mathbf{P}})\\ & =\mathbf{w}(n)+\mu (\mathbf{u}\ast d(n)-\mathbf{u}\ast {\mathbf{u}}^{\mathbf{H}}\ast \mathbf{w}(n))\\ & =\mathbf{w}(n)+\mu \ast \mathbf{u}\ast (d(n)-{\mathbf{u}}^{\mathbf{H}}\ast \mathbf{w}(n))\end{array}\text{\hspace{1em}(13)}$$
  上式就是LMS的递推公式，定义滤波器输出$y(n)$、误差信号$e(n)$，则LMS就可以总结为以下形式
$$\begin{array}{rl}y(n)& ={\mathbf{w}}^H(n)\mathbf{u}(n)\\ e(n)& =d(n)-y(n)\\ \mathbf{w}(n+1)& =\mathbf{w}(n)+\mu \ast \mathbf{u}(n)\ast e(n)\end{array}$$
  这样,LMS就解决了维纳-霍夫方程中需要信号的相关函数的条件，通过迭代的方式自适应到达最优解，同时，对比最速下降法，LMS就是去掉了一个期望符号$E$，利用瞬时量代替统计平均。关于更深入的理论分析，可以查阅参考中的两本书

Reference:
1.《自适应滤波器原理》
2.《数字信号处理：时域离散随机信号处理》