【论文笔记之 FLMS】Fast Implementation of LMS Adaptive Filters

本文对 EARL R. FERRARA 于 1980 年在 IEEE Transactions on Acoustics, Speech, and Signal Processing 上发表的论文进行简单地翻译。如有表述不当之处欢迎批评指正。欢迎任何形式的转载，但请务必注明出处。

论文链接：https://ieeexplore.ieee.org/abstract/document/1163432

1. 论文目的

在频域快速实现 LMS 自适应滤波器。

2. 摘要

论文提出了 LMS 自适应横向滤波器的一种频域实现方法。相比于传统的 LMS 自适应滤波器，当滤波器长度等于或大于 64 点的时候，快速 LMS（FLMS）自适应滤波器计算量更小。

3. 介绍

LMS 自适应滤波器已被广泛使用在了各种应用中，包括系统建模，通道均衡，干扰消除，自适应天线和谱线增强。在通常的实现中，抽头延迟线的输出被加权并求和以产生滤波器的输出。横向滤波器的权重决定了它的冲激响应， 其值由 LMS 算法自适应地更新。有研究人员已于 1978 年提出了自适应滤波器的一种频域实现（相比于其时域版本需要更少的计算量，该频域实现可参考 论文笔记之 AFiFD）。然而，该频域实现使用了滤波器输入和冲激响应的循环卷积，而传统时域 LMS 自适应滤波器使用的是线性卷积。这阻止了该滤波器收敛到传统自适应滤波器所能达到的最佳横向滤波器的解。

论文的目的是，在频域提出一种传统 LMS 自适应滤波器的实现，该实现确实能收敛到最佳横向滤波器的解。所提出的方法旨在直接替代 LMS 自适应滤波器，而且相比于时域的实现，该方法对长滤波器的计算量更少。所提出的方法类似于另一篇文献中所描述的方法，但是它和时域 LMS 滤波器以相同的速率收敛。以这种速率收敛并不总是有利的，比如，当滤波器抽头处信号的相关矩阵具有高度不同的特征值时。尽管如此，LMS 自适应滤波器已被广泛使用，并且能被很好地理解，因此，其快速实现是让人感兴趣的。

4. LMS 算法

如果 LMS 自适应滤波器的输入是实离散信号 $x_j$，LMS 自适应算法可以描述为：
$$W_{j+1}=W_j+2\mu {ϵ}_j{X}_j\text{\hspace{1em}(1)}$$

其中，$W_j$ 和 $X_j$ 分别是滤波器权重和抽头延迟线输出在时刻 $j$ 的向量表示：
$$W_j^T=[w_{1,j},w_{2,j}\cdots w_{n,j}]\text{\hspace{1em}(2)}$$
$$X_j^T=[x_j,x_{j-1}\cdots x_{j-n+1}]\text{\hspace{1em}(3)}$$

误差 ${ϵ}_j$ 是期望响应 $d_j$ 和滤波器输出之间的差：
$${ϵ}_j=d_j-y_j\text{\hspace{1em}(4)}$$

其中，滤波器的输出为：
$$y_j=X_j^T{W}_j\text{\hspace{1em}(5)}$$

为了实现传统 $n$ 点自适应滤波器的频域等效版本，将输入信号划分为 $n$ 点的数据块将会使实现更加方便。在处理块中的每个输入点时，权值是固定不变的。只有当块中的每个输入点全部处理完，才对权值进行更新。这通常不会限制其性能，因为为了防止权值变得 too noisy，权值向量的更新时间常数应该是 $n$ 的倍数。第 $k$ 个数据块，滤波器的输出为：
$$y_{kn+i}=X_{kn+i}^T{W}_k,0\le i\le n-1\text{\hspace{1em}(6)}$$

其中，$W_k$ 是第 $k$ 个数据块所使用的时域权值向量。在处理完第 $k$ 个数据块的全部数据之后，权值向量的更新方程可通过在 $n$ 点数据上迭代 $(1)$ 来得到：
$$\begin{array}{rl}{W}_{k+1}& =W_k+2\mu \sum _{i=0}^{n-1}{ϵ}_{kn+i}{X}_{kn+i}\\ & =W_k+2\mu {▽}_k\end{array}\text{\hspace{1em}(7)}$$

5. 频域实现

现在，将展示如何在频域实现 $(6)$ 和 $(7)$，以达到节省计算量的目的。式 $(6)$ 能被显示地改写为权值和滤波器输入的线性卷积：
$$y_{kn+j}=\sum _{i=0}^{n-1}{w}_{i,k}{x}_{kn+j-i}\text{\hspace{1em}(8)}$$

为了使用 FFT 通过重叠保留法实现 $(8)$，必须给权值补 $n$ 点零，且使用 $2n$ 点 FFT。令 ${\omega }_k$ 为 $2n$ 点的向量，其元素为时域权值向量补了 $n$ 点零之后的 FFT 系数：
$${\omega }_k^T=\mathrm{FFT}[W_k^T,0\cdots 0]\text{\hspace{1em}(9)}$$

${\omega }_k$ 是频域的权值向量。令 ${\chi }_k$ 为第 $k-1$ 和第 $k$ 个输入块的 $2n$ 点的 FFT 变换：
$${\chi }_k^T=\mathrm{FFT}[\underset{(k-1)\mathrm{th}\mathrm{block}}{\underbrace{x_{(k-1)n}\cdots x_{kn-1}}}\underset{k\mathrm{th}\mathrm{block}}{\underbrace{x_{kn}\cdots x_{kn+n-1}]}}\text{\hspace{1em}(10)}$$

$(8)$ 所表示的卷积可以通过以下方式实现：
[ y k n ⋯ y k n + n − 1 ] T = l a s t    n    t e r m s    o f    F F T − 1 { ω k ⊗ χ k } (11) [y_{kn} \cdots y_{kn+n-1}]^{T}={\rm last} \; n \; {\rm terms \; of \; FFT}^{-1}\{\omega_{k} \otimes \chi_{k}\} \tag{11} [ykn​⋯ykn+n−1​]T=lastntermsofFFT−1{ωk​⊗χk​}(11)

其中 $\otimes$ 表示两个向量逐元素相乘。$(11)$ 给出了第 $k$ 个输入块所对应的输出值。因此，时域上 $n$ 点的横向滤波器对应于频域上 $2n$ 点的滤波器。

为了在频域上实现权值更新方程 $(7)$，$(7)$ 中 ${▽}_k$ 的第 $j$ 个元素可以被重写为：
$${▽}_{j,k}=\sum _{i=0}^{n-1}{ϵ}_{kn+i}{x}_{kn+i-(j-1)},1\le j\le n\text{\hspace{1em}(12)}$$

因此，${▽}_k$ 的元素由误差序列和滤波器输入序列的互相关给出。可以使用 FFT 来计算 ${▽}_k$，不过首先需要计算$E_k$：
$$E_k=\mathrm{FFT}[\underset{n\mathrm{zeros}}{\underbrace{0\cdots 0}}\underset{k\mathrm{th}\mathrm{error}\mathrm{block}}{\underbrace{d_{kn}-y_{kn}\cdots d_{kn+n-1}-y_{kn+n-1}}}{]}^T\text{\hspace{1em}(13)}$$

然后计算：
$${▽}_k=\mathrm{first}n{\mathrm{terms}\mathrm{of}\mathrm{FFT}}^{-1}{E}_k\otimes {\overline{\chi }}_k\text{\hspace{1em}(14)}$$

其中，${\chi }_k$ 上的横线表示复数共轭。最后，频域的权值更新方程为：
$$\omega (k+1)=\omega (k)+2\mu \mathrm{FFT}\left[\begin{array}{c}{▽}_k\\ 0\\ ⋮\\ 0\end{array}\right]\begin{array}{c}\\ \begin{array}{c}\\ \\ \end{array}\}n\mathrm{zeros}\end{array}\text{\hspace{1em}(15)}$$

如果将初始权值向量 ${\omega }_0$ 的逆变换的最后 $n$ 个值强制置为 $0$，那么 $(15)$ 就是 $(7)$ 在频域上的精确实现。

$(10)，(11)，(13)，(14)$ 和 $(15)$ 一起定义了快速 LMS（FLMS） 自适应滤波器。处理完每个块的数据之后，FLMS 自适应滤波器的冲激响应和传统的 LMS 滤波器的冲激响应是相等的。即使 FLMS 的权值向量是逐块更新的，但这两个滤波器的收敛率是一样的。因为根据 $(7)$，整个数据块的梯度估计值之和被用来更新 FLMS 的权值向量。

对于每个包含了 $n$ 点的数据块来说，$\mathrm{FLMS}$ 滤波器需要 $5$ 个 $2n$ 点的 $\mathrm{FFT}$，以及 $2$ 个 $2n$ 点的复数乘法。对于实输入数据，所有的 $\mathrm{FFT}$ 变化都是对称的，并且只需要计算前 $n+1$ 个项。此外，对于实数据而言，一个 $2n$ 点的 $\mathrm{FFT}$ 可以通过一个 $n$ 点的 $\mathrm{FFT}$ 和 $n$ 点的复数乘法来实现。每个 $n$ 点的 $\mathrm{FFT}$ 需要 $n/2\log n/2$ 的复数乘法。因此，每个块中 $5$ 个 $\mathrm{FFT}$ 需要的复数乘法为 $5(n/2\log n/2+n)$，复数加权和更新需要的复数乘法约为 $2n$。传统的自适应滤波器输出 $n$ 点，需要 $2n^2$ 个实数乘法。一个复数乘法相当于四个实数乘法，可得到：
$$\frac{\mathrm{FLMS}\mathrm{real}\mathrm{multiplies}}{\mathrm{LMS}\mathrm{real}\mathrm{multiplies}}=\frac{5(\log \frac{n}{2})+14}{n}\text{\hspace{1em}(16)}$$

下表给出了一些具体的比例值：

当 $n\ge 64$ 时，在频域实现的 LMS 能节省计算量，即使是需要 $5$ 个 FFT。对于长滤波器，节省的计算量是相当可观的。

6. 后记

论文发表于 1980 年，像现在商用中大规模使用的分块频域算法（可参考 论文笔记之 MDF）都是在 FLMS 的基础上改进来的。 FLMS 算法在频域使用 FFT 计算线性卷积和线性相关，大大降低了传统时域 LMS 算法的计算量。作者在论文中用 F 指 Fast，不过也可以将其理解为 Frequency。

论文中的 FLMS 与传统的 LMS 算法在收敛率和计算效果方面都是一样，并没有涉及步长方面的研究，后续笔者将根据《自适应滤波器原理》一书中的内容，对 FLMS 算法做进一步介绍。