自适应滤波器之 NLMS 算法

浩哥依然

已于 2022-12-26 14:22:06 修改

阅读量3w

点赞数 12

分类专栏：自适应滤波器文章标签：归一化最小均方算法 NLMS算法自适应滤波算法 Normalized LMS

于 2017-03-17 17:07:38 首次发布

本文链接：https://blog.csdn.net/wjrenxinlei/article/details/62892008

版权

自适应滤波器专栏收录该内容

4 篇文章 16 订阅

订阅专栏

本文对 NLMS 作以介绍，如有表述不当之处欢迎批评指正。欢迎任何形式的转载，但请务必注明出处。

1. 引言

NLMS 即归一化 LMS（Normalized LMS）算法，是 LMS 算法（可参考自适应滤波器之 LMS 算法）的改进版。在 LMS 算法中，抽头权值的调整量与抽头输入向量成正比。当抽头输入向量比较大的时候，LMS 会遇到梯度噪声放大的问题。为了克服这个问题，可以使用 NLMS 算法，之所以称为 “Normalized”，是因为它使用抽头输入向量的平方欧式范数对抽头权值调整量进行了归一化。

2. 传统的 NLMS 算法

NLMS 算法描述为以下公式：
$\vec{h}(n+1) = \vec{h}(n) + \mu(n) e(n) \vec{x}(n) \tag{1}$

可以看出 NLMS 和 LMS 算法的不同之处在于步长：LMS 算法中的步长为一个给定的常数，NLMS 算法中的步长为一个随时间变化的量，且定义为：
$\mu(n) = \frac{\alpha}{\vec{x}^T(n)\vec{x}(n)} = \frac{\alpha}{{\Vert \vec{x}(n)\Vert}^{2}} \tag{2}$

为了使算法收敛， $\alpha$ 应该满足：
$0<\alpha<2\tag{3}$

实际中，为了避免当 ${\Vert \vec{x}(n)\Vert}^{2}$ 过小时产生大的步长 $\mu(n)$ ，可进一步进行修改：
$\mu(n) = \frac{\alpha}{{\Vert \vec{x}(n)\Vert}^{2} + c}\tag{4}$

其中 $c$ 是一个很小的常数。

3. 推导

上一小节直接给出了 NLMS 算法的公式，可以认为它是 LMS 算法的一个很自然的改进版本。当然，它也可以被单独推导出来，这一小节将对推导过程作以介绍（如果读者不感兴趣，可以跳过本小节）。

NLMS 算法是最小扰动原理（the principle of minimal disturbance）的一种表现形式。该原理可以表述如下：

从一次自适应循环到下一次自适应循环中，自适应滤波器的权重向量应该以最小的方式改变，而且受到更新的滤波器的输出所施加的约束。

NLMS 算法的设计准则可以表述为带约束的优化问题：给定抽头输入向量 $\vec{x}(n)$ 和期望响应 $d (n)$ ，确定更新后的权重向量 $\vec{h}(n+1)$ ，以使下式的平方欧式范数最小：
$\delta \vec{h}(n+1) = \vec{h}(n+1) - \vec{h}(n)\tag{5}$

并受制于以下约束条件：
$\vec{h}^{T}(n+1) \vec{x}(n) = d(n) \tag{6}$

可以使用拉格朗日乘子法（the method of Lagrange multipliers）解决该带约束的优化问题。根据这个方法，目前这个问题的代价函数可以描述为：
$\Vert \delta \vec{h}(n+1) \Vert^{2} + \lambda (d(n) - \vec{h}^{T}(n+1) \vec{x}(n)) \tag{7}$

其中， $\lambda$ 为拉格朗日乘子。 $(7)$ 可改写为：
$(\vec{h}(n+1) - \vec{h}(n))^{T} (\vec{h}(n+1) - \vec{h}(n)) + \lambda (d(n) - \vec{h}^{T}(n+1) \vec{x}(n)) \tag{8}$

为了寻找使 $J (n)$ 最小化的 $\vec{h}(n+1)$ ，采用以下步骤：
1). 令 $J (n)$ 对 $\vec{h}^{T}(n+1)$ 求导，并令其值为 $0$ :
$\begin{aligned} \frac{\partial J(n)}{\partial \vec{h}^{T}(n+1)} &= 2(\vec{h}(n+1) - \vec{h}(n)) - \lambda \vec{x}(n) \\ &= 0 \end{aligned} \tag{9}$

可得：
$\vec{h}(n+1) = \vec{h}(n) + \frac{1}{2} \lambda \vec{x}(n) \tag{10}$

2). 将上一步的结果代入 $(6)$ ，以求解 $\lambda$ ：
$\begin{aligned} d(n) &= \vec{h}^{T}(n+1) \vec{x}(n) \\ &= (\vec{h}(n) + \frac{1}{2} \lambda \vec{x}(n))^{T} \vec{x}(n) \\ &= \vec{h}^{T}(n) \vec{x}(n) + \frac{1}{2} \lambda \vec{x}^{T}(n) \vec{x}(n) \\ &= \vec{h}^{T}(n) \vec{x}(n) + \frac{1}{2} \lambda \Vert \vec{x}(n) \Vert^{2} \end{aligned} \tag{11}$

可得：
$\begin{aligned} \lambda &= \frac{2(d(n) - \vec{h}^{T}(n) \vec{x}(n))}{\Vert \vec{x}(n)\Vert^{2}} \\ &= \frac{2e(n)}{\Vert \vec{x}(n)\Vert^{2}} \end{aligned} \tag{12}$

3). 结合上述两步的结果，以推导出 $\delta \vec{w}(n+1)$ 的最优值。即由 $(10)$ 和 $(12)$ 可得：
$\begin{aligned} \delta \vec{w}(n+1) &= \vec{h}(n+1) - \vec{h}(n) \\ &= \frac{1}{\Vert \vec{x}(n)\Vert^{2}} e(n) \vec{x}(n) \end{aligned} \tag{13}$

为了对抽头权向量的增量幅值进行控制，上式可改写为：
$\begin{aligned} \delta \vec{w}(n+1) &= \vec{h}(n+1) - \vec{h}(n) \\ &= \frac{\alpha}{\Vert \vec{x}(n)\Vert^{2}} e(n) \vec{x}(n) \end{aligned} \tag{14}$

在克服传统 LMS 算法引入的梯度噪声放大问题时，NLMS 算法自身也会引入一些问题。即当抽头输入向量 $\vec{x}(n)$ 特别小时， $(14)$ 中的除法运算可能会出现数值计算困难。为了克服该问题，可将 $(14)$ 可改写为：
$\vec{h}(n+1) = \vec{h}(n) + \frac{\alpha}{\Vert \vec{x}(n)\Vert^{2} + c} e(n) \vec{x}(n) \tag{15}$

其中 $c$ 是一个很小的常数。

4. 功率归一化的 NLMS 算法

对步长的分子和分母均进行 $M$ 倍的缩放之后，可进一步将 $(15)$ 改写为：
$\vec{h}(n+1) = \vec{h}(n) + \frac{\alpha / M}{\Vert \vec{x}(n)\Vert^{2} / M + c / M} e(n) \vec{x}(n) \tag{16}$

可以使用 $p (i)$ 近似代替 $\Vert \vec{x}(n)\Vert^{2} / M$ ，其中：
$\beta p(i-1) + (1-\beta) \left| x(n) \right|^{2}, \quad p(-1)=0 \; and \; 0 < \beta \leq 1 \tag{17}$

可以被解释为输入序列 ${x(n)\}$ 的功率估计， $M$ 表示抽头输入向量 $\vec{x}(n)$ 的长度。 $(16)$ 可进一步改写为：
$\vec{h}(n+1) = \vec{h}(n) + \frac{\alpha}{p(i) + c} e(n) \vec{x}(n) \tag{18}$