【论文笔记之 BLMS】Block Implementation of Adaptive Digital Filters

本文对 GREGORY A. CLARK 于 1981 年在 IEEE Transactions on Circuits and Systems 上发表的论文进行简单地翻译。如有表述不当之处欢迎批评指正。欢迎任何形式的转载，但请务必注明出处。

论文链接：https://ieeexplore.ieee.org/abstract/document/1085018

1. 论文目的

实现逐块更新的自适应数字滤波器。

2. 摘要

块数字滤波是指一次性输入给滤波器一整块数据，然后一次性得到一整块或有限数量的输出。本文提出了一种块自适应滤波方法，在每得到一整块的输出数据后，该方法才根据广义最小均方（LMS）算法更新一次滤波器系数。通过分析收敛特性和计算复杂度，可以看出块自适应滤波器是广泛所使用的 LMS 自适应滤波器的快速实现，而且其性能与后者相同。

3. 介绍

Burrus, Mitra 以及其他学者已经对块数字滤波进行了广泛地讨论。该技术一次性输入一整块数据，并输出一整块数据。数字滤波器的块实现可以高效地使用并行处理器，这可以加快计算速度。此外，在串行处理器上实现滤波器的时候，也可以使用高效的块算法，比如快速傅立叶变换（FFT） 。低功耗大规模集成电路以及并行处理架构的持续发展使得块滤波变得越来越有吸引力。

本文对之前讨论过的块处理技术进行了修改和扩展，以用于非递归的最小均方（LMS）自适应滤波器。首先，定义一个块均方误差（BMSE）性能准则，并由此推导出 BMSE 梯度估计，该估计是误差信号和输入信号的相关（over a block of data）。然后，通过该梯度估计可以得到一个权重调整算法，该算法允许在并行处理器上或在串行处理器上结合 FFT 以块形式来实现。最后，对块实现所带来的计算复杂度的降低进行了分析，结果表明，降低的计算复杂度是非常可观的。

此处讨论的自适应数字滤波是由 Widrow 等人提出的 LMS 类型的滤波技术，其性能指标为均方误差（MSE $=\xi$）。假定输入均为实数。Widrow 的自适应滤波器是阶数为 $N-1$ 的有限冲击响应（FIR）数字滤波器，在离散时刻 $k$ 时，其输出 $y_k$ 由输入 $x_k$ 和滤波器权重 $w_{lk}$ 的卷积和给出：
$$\begin{array}{r}{y}_k=\sum _{l=1}^N{w}_{lk}{x}_{k-l+1},k=1,2,3,\cdots .\end{array}$$

Widrow-Hoff LMS 算法根据 $(2)$ 调整滤波器的权重：
$$\begin{array}{r}{\mathbf{W}}_{k+1}={\mathbf{W}}_k+2\mu {ϵ}_k{\mathbf{X}}_k\end{array}$$

其中 $\mu$ 是收敛常量，${\mathbf{W}}_k$ 和 ${\mathbf{X}}_k$ 分别是 $N\times 1$ 维的权重向量和 $N\times 1$ 维的输入向量：
$$\begin{array}{rl}{\mathbf{W}}_k& \triangleq [w_{1k}{w}_{2k}\cdots w_{Nk}{]}^T\\ {\mathbf{X}}_k& \triangleq [x_k{x}_{k-1}\cdots x_{k-N+1}{]}^T\end{array}$$

${ϵ}_k$ 是 $k$ 时刻的误差信号，由期望输出 $d_k$ 减去真实输出 $y_k$ 得到：
$$\begin{array}{r}{ϵ}_k\triangleq d_k-y_k.\end{array}$$

本文研究了通过对数据进行分块处理来实现自适应滤波器，以期降低计算复杂度。为了使用高效的块处理，自适应算法必须在不改变滤波器参数的情况下计算输出一整块数据。因此，块自适应滤波器应该逐数据块调整权重。可以看到，传统的逐采样点调整权重的 LMS 自适应滤波器是块自适应滤波器块长为 $1$ 时的特殊情况。

对于时不变的情况，$(1)$ 可被写为以下矩阵形式：
$$\begin{array}{r}{y}_k={\mathbf{W}}^T{\mathbf{X}}_k={\mathbf{X}}_k^T\mathbf{W}.\end{array}$$

令 $L$ 表示块长，以下低阶（$L=3,N=3$）的例子展示了卷积是如何被写为更方便的块形式的：

在 $(5)$ 中，将滤波器权重（而不是输入）表示为向量的形式。这与之前所提出的标准块处理公式相反，但却使得块分析变得方便，这是因为它允许对权重进行简单的微分。

通过使用上面的块符号，对于通常 $(L,N)$ 的情况来说，$(2)$ 可以被改写为：
$${\mathbf{Y}}_j={\chi }_j\mathbf{W}\text{\hspace{1em}(6)}$$

其中 $j$ 为块索引，${\mathbf{Y}}_j$ 和 ${\chi }_j$ 分别是第 $j$ 个长为 $L$ 的输出向量，以及由输入向量组成的 $L\times N$ 维矩阵：
$$\begin{array}{rl}{\mathbf{Y}}_j& \triangleq [y_{(j-1)L+1}{y}_{(j-1)L+2}\cdots y_{jL}{]}^T\\ {\chi }_j& \triangleq [{\mathbf{X}}_{(j-1)L+1}{\mathbf{X}}_{(j-1)L+2}\cdots {\mathbf{X}}_{jL}{]}^T.\end{array}$$

可以使用并行处理器或在串行处理器上结合 FFT 来实现线性卷积。

4. 块维纳滤波问题

经典的维纳滤波器可以被扩展到如下所示的块输入情况，可参考图 1。假设所有的输入是平稳的，令
$${\mathbf{d}}_j\triangleq [d_{(j-1)L+1}{d}_{(j-1)L+2}\cdots d_{jL}{]}^T\text{\hspace{1em}(7)}$$

为第 $j$ 个块所对应的 $L\times 1$ 维的期望响应向量，再令
$${\mathbf{ϵ}}_j\triangleq [{ϵ}_{(j-1)L+1}{ϵ}_{(j-1)L+2}\cdots {ϵ}_{jL}{]}^T\text{\hspace{1em}(8)}$$

为第 $j$ 个块所对应的 $L\times 1$ 维的误差向量，${ϵ}_k$ 定义在 $(3)$ 中。性能指标是分析该问题的关键要素，此处使用标准 MSE 以及最小二乘问题中所使用的 sum square error 的组合。BMSE 定义为：
$$\text{BMSE}=\Xi \triangleq \frac{1}{L}E[{\mathbf{ϵ}}_j^T{\mathbf{ϵ}}_j]=E[\frac{1}{L}\sum _{k=(j-1)L+1}^{jL}{ϵ}_k^2].\text{\hspace{1em}(9)}$$

很明显，BMSE is the expected value of a smoothed estimate of the squared error over one block. This is appropriate because it combines a block’s worth of error information into one number for each value of the block index $j$. MSE 每次只考虑一个点的误差信息。通过使用 $(6)$ 和 $(8)$，$(9)$ 可被改写为：
L Ξ = E { d j T d j } − E { d j T χ j } W − W T E { χ j T d j } + W T E { χ j T χ j } W L \Xi = E\{\bm d_{j}^{T} \bm d_{j}\} - E\{\bm d_{j}^{T} \chi_{j}\} \bm W - \bm W^{T} E\{\chi_{j}^{T} \bm d_{j}\} + \bm W^{T} E\{\chi_{j}^{T} \chi_{j}\} \bm W LΞ=E{djT​dj​}−E{djT​χj​}W−WTE{χjT​dj​}+WTE{χjT​χj​}W

其中 ${\mathbf{d}}_j$ 是第 $j$ 个期望输出块。

现定义如下的相关矩阵：
$$\begin{array}{rl}R& =E[{\mathbf{X}}_k{\mathbf{X}}_k^T]\\ P& =E[{\mathbf{X}}_k{d}_k]\\ \mathcal{R}& =E[{\chi }_j^T{\chi }_j],\mathcal{P}=E[{\chi }_j^T{\mathbf{d}}_j].\end{array}\text{\hspace{1em}(10 — 12)}$$

$R$ 和 $\mathcal{R}$ 分别是 $N\times N$ 维的输入自相关以及块输入相关矩阵。同样地，$P$ 是输入和期望响应之间 $N\times 1$ 维的互相关向量，$\mathcal{P}$ 是块输入和块期望响应之间 $N\times 1$ 维的互相关向量。

使用上述定义，BMSE 可被改写为：
Ξ = 1 L [ E { d j T d j } − P T W − W T P + W T R W ] (13) \Xi = \frac{1}{L} [E\{\bm d_{j}^{T} \bm d_{j}\} - \mathscr{P}^{T} \bm W - \bm W^{T} \mathscr{P} + \bm W^{T} \mathscr{R} \bm W] \tag{13} Ξ=L1​[E{djT​dj​}−PTW−WTP+WTRW](13)

使用 $(6)$ 和 $(12)$，并利用平稳性，可以证明 $\mathcal{R}=LR$ 以及 $\mathcal{P}=LP$。进一步，$(13)$ 可被重写为：
$$\Xi =E[d_k^2]-2P^T\mathbf{W}-{\mathbf{W}}^{T}R\mathbf{W}=\xi .\text{\hspace{1em}(14)}$$

(笔者注：上式可能是原作笔误，正确公式应该是 $\Xi =E[d_k^2]-2P^T\mathbf{W}+{\mathbf{W}}^{T}R\mathbf{W}=\xi .$）因此，当输入是平稳的时候，BMSE 等于 MSE。那么块维纳滤波器的权重最优解集 ${\mathbf{W}}^{\ast }$ 与维纳滤波器的相同，即：
$${\mathbf{W}}^{\ast }=R^{-1}P.\text{\hspace{1em}(15)}$$

这可以用正交性原理的扩展来证明，该原理是指使 BMSE 最小化的权重向量 ${\mathbf{W}}^{\ast }$ 是令误差向量 ${\mathbf{ϵ}}_j$ 和块数据 ${\chi }_j$ 正交的向量。BMSE 的最小值（${\Xi }_{min}$）由下式给出：
$$\frac{1}{L}E[{\mathbf{d}}_j^T{\mathbf{ϵ}}_j]$$

且其等于 ${\xi }_{min}$。 显然，维纳滤波问题是块维纳问题的一种特殊情况（$L=1$）。

5. 块自适应滤波以及 BLMS 算法

类似于 LMS 自适应滤波，也可以推导出一种分块算法，其利用梯度搜索技术来实时顺序地求解维纳权重向量。因为在处理每个数据块的时候，希望权重值保持不变，因此，权重向量是逐块更新的，而不像 LMS 算法那样是逐点更新的。算法更新公式为：
$${\mathbf{W}}_{j+1}={\mathbf{W}}_j-{\mu }_B{\nabla }_{Bj}\text{\hspace{1em}(16)}$$

其中 ${\mu }_B$ 是收敛常量，${\nabla }_{Bj}$ 是 $j$ 时刻 $N\times 1$ 维的 BMSE 梯度，${\mathbf{W}}_j$ 是 $j$ 时刻 $N\times 1$ 维的权重向量。
$${{\nabla }_{Bj}\triangleq \frac{1}{L}\frac{\partial E[{\mathbf{ϵ}}_j^T{\mathbf{ϵ}}_j]}{\partial \mathbf{W}}|}_{\mathbf{W}={\mathbf{W}}_j}\text{\hspace{1em}(17)}$$

因为计算集总平均（ensemble average）是比较难得，因此使用梯度的估计 ${\hat{\nabla }}_{Bj}$ 来代替 ${\nabla }_{Bj}$。$j$ 时刻 BMSE 梯度估计定义为：
$${\hat{\nabla }}_{Bj}\triangleq \frac{1}{L}\frac{\partial {\mathbf{ϵ}}_j^T{\mathbf{ϵ}}_j}{\partial {\mathbf{W}}_j}=-\frac{2}{L}{\chi }_j^T{\mathbf{ϵ}}_j.\text{\hspace{1em}(18)}$$

在权重调整算法 $(16)$ 中使用这种无偏块梯度估计，得到块最小均方（BLMS）算法：
$$\begin{array}{rl}{\mathbf{W}}_{j+1}& ={\mathbf{W}}_j+\frac{2{\mu }_B}{L}{\chi }_j^T{\mathbf{ϵ}}_j\\ & ={\mathbf{W}}_j+\frac{2{\mu }_B}{L}\sum _{k=(j-1)L+1}^{jL}{ϵ}_k{\mathbf{X}}_k={\mathbf{W}}_j+\frac{2{\mu }_B}{L}{\Phi }_j.\end{array}\text{\hspace{1em}(19)}$$

当块长 $L=1$ 时，BLMS 算法等于 LMS 算法。$(19)$ 中的权重更新项是对由一块数据所生成的 $L$ 个类 LMS 项 ${ϵ}_k{\mathbf{X}}_k$ 的平均。Consider ${\Phi }_j$ written out for the $i$th weight:
$${\varphi }_{ij}=\sum _{k=(j-1)L+1}^{jL}{ϵ}_k{x}_{k-i+1},i=1,2,\cdots ,N.$$

令 $n=k-i+1$，上式变为：
$$\begin{array}{rl}{\varphi }_{ij}& =\sum _{n=(j-1)L-i+2}^{jL-i+1}{ϵ}_{n+i-1}{x}_n\\ & =e_{-i}\ast x_i,\text{for}i=1,2,\cdots ,N\end{array}$$

其中 $\ast$ 表示卷积操作。很明显，权重更新项是相关操作，可以使用并行处理器或在串行处理器上结合 FFT 以块形式来实现（见图 1）。

从另一个角度来看，注意到 ${\chi }_j^T$ is Toeplitz when square and can therefore be embedded in a circulant matrix. 卷积操作 ${\chi }_j{\mathbf{W}}_j$ 和相关操作 ${\chi }_j^T{\mathbf{ϵ}}_j$ 就可以很容易地用 FFT 来实现。这很重要，因为这意味着对于 BLMS 自适应滤波来说，$(6)$ 中的卷积和权重更新都能以块形式实现，而对于 LMS 自适应滤波，两者都不能以块形式实现。

块长度的选择是很重要的。$(19)$ 表明对于任意大于或等于 $1$ 的块长，该算法都是有效的。然而，在大多数应用中，$L=N$ 的情况可能会是首选。这是因为对于 $L>N$ 的情况，在 $L$ 个输入样本上计算出来的梯度估计，比滤波器 $\mathbf{W}$ 使用的输入信息更多，这导致了冗余操作。对于 $L<N$ 的情况，滤波器长度大于正在处理的输入数据块长，这是对滤波器权重的 waste。

6. BLMS 算法的收敛特性

自适应滤波过程中的 收敛特性主要包括：收敛常量（$\mu$ 或 ${\mu }_B$）的边界，自适应速度和自适应精度。 自适应速度是指 MSE 降低到最小 MSE（MMSE or ${\xi }_{min}$） 估计值的速度。用于表示自适应算法求出的解与 ${\xi }_{min}$ 接近程度的量（自适应精度）被称为失配，定义为 average excess MSE 除以 ${\xi }_{min}$。（The measure of how close the solution is to ${\xi }_{min}$ （adaption accuracy）is called misadjustment and is defined as average excess MSE divided by ${\xi }_{min}$.）图 2 以图形的方式展示了块形式下的自适应速度和 excess MSE。本节对块自适应滤波器的上述收敛特性进行了分析，并与传统 LMS 自适应滤波器的收敛特性进行了比较。

6.1. 保证算法收敛的 ${\mu }_B$ 的边界

首先，必须证明 BLMS 算法是收敛的，已有文献给出了证明过程。文献所采用的方法是证明随着数据块编号 $j$ 接近无穷大，权重向量的期望值（$E[{\mathbf{W}}_{j+1}]$）接近维纳权重向量，前提条件是假设 ${\chi }_j$ 和 ${\mathbf{d}}_j$ 是各态历经的（ergodic），以及 $E[{\chi }_j^T{\chi }_{j+l}]\approx 0\text{for}l\ne 0$。该证明还表明对收敛常量的要求是相同的（$\mu$ 用于 LMS，${\mu }_B$ 用于 BLMS ），也就是说，为了保证相应的自适应算法收敛，$\mu$ 和 ${\mu }_B$ 的取值范围必须一样。收敛常量的边界为：
  for LMS:
$$0<\mu <\frac{1}{{\lambda }_{max}}\text{\hspace{1em}(20)}$$

  for BLMS:
$$0<{\mu }_B<\frac{1}{{\lambda }_{max}}\text{\hspace{1em}(21)}$$

其中 ${\lambda }_{max}$ 是矩阵 $R$ 的最大的特征值。

6.2. 自适应速度

自适应速度以时间常量的形式给出，该常量表明了权重向量收敛到维纳权重向量的速度（见图 2）。实际上，存在 $N$ 个时间常量 $T_{pMSE}$，每个时间常量对应差分方程的一个（$p\text{th}$）模式，该差分方程用于描述自适应过程。这些时间常量的推导过程可以参考先前的文献。该推导过程遵循相应的 LMS 算法的推导形式，但存在一些非常重要的区别。收敛常量 $\mu$（用于 LMS）被 ${\mu }_B$（用于 BLMS） 替代。用于 LMS 的时间单元为采样点编号 $(k)$，而用于 BLMS 的时间单元为数据块编号 $(j)$。因此，这两种不同算法的方程具有相同的形式，但却有着不同的意义。This difference is resolved by converting the BLMS time constants to units of sample numbers so comparison with LMS time constants becomes meaningful. 对于输入数据自相关矩阵 $R$ 的特征值全部相等的特殊情况下，这 $N$ 个时间长量可以被归为一个，令 ${\tau }_{MSE}$ 用于 LMS， $T_{MSE}$ 用于 BLMS。可以得到：
  for LMS:
$$T_{pMSE}=\frac{L}{4{\mu }_B{\lambda }_p}，T_{MSE}=\frac{NL}{4{\mu }_B\text{tr}R}\text{\hspace{1em}(22)}$$

  for BLMS:
$${\tau }_{pMSE}=\frac{1}{4\mu {\lambda }_p}，{\tau }_{MSE}=\frac{N}{4\mu \text{tr}R}\text{\hspace{1em}(23)}$$

其中 ${\lambda }_p$ 等于 $R$ 的第 $p\text{th}$ 个特征值，$\text{tr}R$ 是 $R$ 的迹，或者说是 $R$ 对角线上元素的和。

6.3. 自适应精度

自适应精度或者说权重噪声的度量，可以通过失配对其进行评估，定义为（见图 2）：
for BLMS:
$$\mathfrak{M}\triangleq \frac{\text{Average Excess BMSE}}{{\xi }_{min}}\text{\hspace{1em}(24)}$$

for LMS:
$$M\triangleq \frac{\text{Average Excess MSE}}{{\xi }_{min}}.\text{\hspace{1em}(25)}$$

失配是由 BLMS 或 LMS 算法中的梯度噪声造成的。先前已有文献推导出了 BLMS 算法的失配，其形式为：
for BLMS:
$$\text{Average Excess BMSE}=\frac{{\mu }_B}{L}{\xi }_{min}\text{tr}R，\mathfrak{M}=\frac{{\mu }_B}{L}\text{tr}R\text{\hspace{1em}(26)}$$

for LMS:
$$\text{Average Excess BMSE}=\mu {\xi }_{min}\text{tr}R，M=\mu \text{tr}R.\text{\hspace{1em}(27)}$$

6.4. BLMS 和 LMS 算法的收敛性能比较

对上述的指标取比值，可得到以下有趣的特性：
$$\frac{T_{pMSE}}{{\tau }_{pMSE}}=\frac{L\mu }{{\mu }_B}\text{and}\frac{\mathfrak{M}}{M}=\frac{{\mu }_B}{L\mu }.\text{\hspace{1em}(28)}$$

可以看到：如果 ${\mu }_B=L\mu$，那么 BLMS 和 LMS 算法就以同样的速率收敛，并达到相同的失配。

In using these relations for design purposes, 必须记得 ${\mu }_B$ 和 $\mu$ 有着同样的收敛边界，因为这一存在的事实限制了可用的块长。比如，一个可能的情况是 ${\mu }_B=L\mu$ 且 $\mu$ 满足 $(20)$，但是 $\mu$ 和 $L$ 太大，以至于 $(21)$ 得不到满足。当然，与快速自适应相比，慢速自适应不太可能出现这种情况。

当块长 $L=1$ 时，关于 BLMS 收敛的所有关系都简化为 LMS 的情况。

6.5. 数据相关时的收敛特性

传统上，自适应滤波器的性能方程是在假设输入数据不相关的基础上导出的，因为这种情况容易处理。正如已有文献中所讨论的那样，BLMS 算法的收敛证明以及收敛参数的推导是基于输入矩阵 ${\chi }_j$ 和 ${\chi }_{j+1}$ 不相关的前提假设。而 LMS 算法是基于 ${\mathbf{X}}_k$ 和 ${\mathbf{X}}_{k+1}$ 不相关的前提假设。这些假设使得对于 BLMS 算法来说，认为 ${\mathbf{W}}_j$ 是独立于 ${\chi }_j$ 的，对于 LMS 算法来说，认为 ${\mathbf{W}}_k$ 是独立于 ${\mathbf{X}}_k$ 的。这些假设虽然简化了证明过程，但并不是对所有数据类型都是适用的。两种证明都假设输入是平稳的。

有文献讨论了数据相关时的收敛特性，并给出了一些结果，这些结果加强了支持块自适应滤波的论点。基于 Gersho 的工作，Kim and Davisson 使用长为 $L$ 的数据块上的样本平均值来估计 MSE 梯度，以调整自适应算法的权重。他们假设输入数据是 $M$-dependent，这基本上意味着 that it is uncorrelated for autocorrelation lags greater than $M$（其中 $M$ 是一个正整数）。Kim and Davisson 证明当输入是 $M$-dependent，且每个数据块调整一次滤波器权重时，如果 $L\ge (M+N-1)$，那么收敛性分析的问题就被克服了，其中 $N$ 是滤波器长度，$M$ 是 $M$-dependent 的常量。

Keeler 基于修改了的 LMS 算法研究了自适应预测器，使其每 $h$ 个输入样本调整一次权重。他表明如果 $h$ 选的足够大，那么可以分析输入数据相关时的收敛特性。

关于上述讨论，需要记住的一点是，当输入数据相关并且满足 $M$-dependent 条件时，块自适应滤波相比 LMS 滤波具有分析上的优势，因为每个数据块只调整一次权重。然而，当输入相关时，在比较 LMS 和 BLMS 的性能之前，还需要更多的工作。

7. BLMS 收敛特性示例

本节通过计算机仿真实验，验证了时间常数和失配的方程。仿真实验的目的是将 LMS 和 BLMS 应用于同一个具有代表性的问题上，并检查 $(28)$ 是成立的。在所有的实验中，均使用不相关的噪声。

示例问题选自 Widrow 和 McCool 的论文。该问题非常简单，易于分析，是一个很好的比较标准。它是一个系统辨识问题，其目标是建模 a plant consisting of a fixed delay of two sample periods.（见图 3）

自适应滤波器有四个权重。$n_{1k}$ is composed of independent samples of zeros-mean white Gaussian noise of unit power. The measurement noise $n_{2k}$ is composed of independent samples of zeros-mean white Gaussian noise with a power of $0.5$. 在所有情况中，均将权重向量初始化为 $0$。

最优权重向量为 ${\mathbf{W}}^{\ast }=[0010{]}^T$. 收敛了之后，${ϵ}_k=n_{2k}$ 且 ${\xi }_{min}={\sigma }_{n2}^2$（它表示 $n_2$ 的噪声功率，且值为0.5）。因为 $n_1$ 是白噪声且其功率为 $R=I$，因此 $R$ 所有的特征值均等于 $1$。可以证明该示例问题中的 MSE 由下式给出：
$${\xi }_k=0.5+w_{1k}^2+w_{2k}^2+(w_{3k}-1{)}^2+w_{4k}^2.\text{\hspace{1em}(29)}$$

失配和时间常量的理论值是通过 $(22),(23)$ 和 $(26),(27)$ 计算出来的。失配的测量值是通过检查数据并使用 $(24),(25)$ 来完成的。

7.1. 实验 A

该实验给出的示例表明当 ${\mu }_B=\mu$ 时，$T_{MSE}=L{\tau }_{MSE}$ 且 $\mathfrak{M}=M/L$. 学习曲线如图 4、图 5 所示，表 I 总结出了该实验的结果。可以看到理论结果和实验结果相吻合。

7.2. 实验 B

该实验给出的示例表明当 ${\mu }_B=L\mu$ 时，$T_{MSE}={\tau }_{MSE}$ 且 $\mathfrak{M}=M$. 学习曲线如图 6、图 7 所示，表 I 总结出了该实验的结果。再次看到理论结果和实验结果相吻合。

使用上述和其它的 ${\mu }_B,\mu ,L$ 之间的关系进行了更多的实验，均表明 $(28)$ 成立。

8. LMS 以及 BLMS 自适应滤波的计算复杂度

算法实现中涉及的主要计算效率问题是存储（内存），时间（CPU 的机器周期数，输入输出等）以及计算复杂度（以所需的实数乘法和加法次数来衡量）。由于前两个指标与处理器架构有关，因此，本文集中讨论当使用标准串行处理器时，所需的计算复杂度。这是为了方便起见，即使 BLMS 自适应滤波器最有效的实现可能是使用并行处理器。

8.1. LMS 自适应滤波器的计算复杂度

$(1)$ 中的卷积操作是直接实现的。生成一个输出数据需要 $N$ 个实数乘法以及 $N-1$ 个实数加法。因此，生成 $L$ 个输出数据需要 $LN$ 个实数乘法以及 $L(N-1)$ 个实数加法。

LMS 算法生成 $L$ 个输出数据（一个数据块）需要 $LN$ 次自适应。 在每个数据块上，需要 $L(N+1)$ 次实数乘法来计算 $(2\mu {ϵ}_k){\mathbf{X}}_k$，需要 $LN$ 次实数加法来完成相加操作，需要 $L$ 个实数加法来计算 ${ϵ}_k=d_k-y_k$。对于 LMS 算法来说，计算一个数据块的自适应部分总共需要 $L(N+1)$ 次实数乘法以及 $L(N+1)$ 次实数加法。因此，LMS 自适应滤波总的计算复杂度为 $L(2N+1)$ 次实数乘法和 $2LN$ 次实数加法。表 II 给出了这些结果。

8.2. BLMS 自适应滤波器的计算复杂度

BLMS 的卷积操作也是直接实现的，因此它与 LMS 算法的情况一样。

从 $(19)$ 可以看出，对于每个数据块，计算权重更新项 ${\mathbf{\Phi }}_j$ 需要 $LN$ 次实数乘法以及 $N(L-1)$ 次实数加法，将 $(2{\mu }_B/L){\mathbf{\Phi }}_j$ 与 ${\mathbf{W}}_j$ 相加需要 $N$ 次实数加法，计算 $(2{\mu }_B/L)\cdot {\mathbf{\Phi }}_j$ 需要 $N$ 次实数乘法（计算 $2{\mu }_B/L$ 需要两次乘法，但这只需要在第一个数据块到来时计算一次就好，因此，忽略其计算复杂度），计算 ${ϵ}_k=d_k-y_k$ 需要 $L$ 次实数加法。因此，对于每个数据块，标准 BLMS 自适应滤波总的复杂度为 $N(2L+1)$ 次实数乘法以及 $2LN$ 次实数加法。表 II 给出了这些结果。

8.3. 基于 FFT 实现的 BLMS 自适应滤波器

对于 BLMS 自适应滤波来说，可以使用 FFT 以及 overlap-add 或 overlap-save 来实现其卷积操作。在整个分析过程中，假设输入和输出都是实信号，且 FFT used is for complex data。那么就可以使用高效的卷积运算，它通过适当地使用 $N^{{}^{\prime }}/2$ 点的复数 FFT 算法的实部和虚部来计算 $N^{{}^{\prime }}$ 点实序列的变换。为了进一步降低复杂度，a radix 4 FFT with one radix 2 section is used. FFT 的长度 $(N^{{}^{\prime }}/2)$ 必须是 $2$ 的整数次幂，其中 $N^{{}^{\prime }}\ge L+N-1$。附录讨论了 FFT 算法和卷积的复杂度。

BLMS 算法中的梯度估计项 ${\mathbf{\Phi }}_j$ 可以被写成如第 $5$ 节所示的相关的形式。因此，它可以如上述所述的卷积那样使用 FFT 来实现。唯一的不同之处是在与 $x_i$ 的 FFT 相乘之前，必须对 ${ϵ}_i$ 的 FFT 取共轭。图 8 展示了该运算过程，附录讨论了其计算复杂度。注意到相关操作输出 $N^{{}^{\prime }}$ 个数据，但只有前 $N$ 个数据是有意义的，因为只有 $N$ 个权重需要被调整。如图 8 所展示的那样，其余的 $N^{{}^{\prime }}-N$ 个数据将被丢弃（其实是将这些数据赋值为零）。

Once the correlation (gradient estimate) is computed, the BLMS algorithm requires $N$ real multiplies and $N+L$ real adds per block of outputs. 表 II 给出了基于 FFT 实现的 BLMS 自适应滤波器的计算复杂度。

8.4. 基于多维卷积技术实现的 BLMS 自适应滤波器

使用多维卷积技术也可以高效地完成串行实现。它以增加存储和数据操作为代价，大大节省了乘法运算次数。这样的卷积输出一整块数据需要 $(3{)}^M$ 次实数乘法，其中 $N=2^M$。如表 II 所示，以这种方式实现的 BLMS 自适应滤波器需要 $2(3{)}^M+N$ 次实数乘法。

8.5. 复杂度分析

表 II 中的结果表明 LMS 和直接实现的 BLMS 之间的复杂度差异非常小。因此，感兴趣的点是比较 LMS 和上述讨论的两种快速算法所实现的 BLMS 自适应滤波器。对于这些实现，计算复杂度比率 CR，并通过对块长 $L$ 取不同值，得到表 III 中的结果。
$$\text{CR}=\frac{\text{Complexity of LMS Filtering}}{\text{Complexity of BLMS Filtering}}.\text{\hspace{1em}(30)}$$

只对 $L=N$ 的情况进行了分析，因为第五节有讲到这种情况最有效地利用了输入数据。正如附录中所讨论的那样，卷积实现需要的序列长度为 $N^{{}^{\prime }}\ge L+N-1$。因为对于表 II 中的方程来说，$N^{{}^{\prime }}$ 必须是 $2$ 的整数次幂，且已假设 $L=N$，因此，为了方便起见，在计算 CR 时，令 $N^{{}^{\prime }}=2N$。

表 IV summarizes the conditions under which the BLMS filter is more efficient than the LMS filter for the two implementations discussed. 很明显，串行实现的 BLMS 自适应滤波器对于大多数实际应用所感兴趣的滤波器长度来说都是具有吸引力的。对于较大的滤波器长度以及块长度来说，复杂度的提高是很显著的，达到了十倍甚至更高。使用大型滤波器的例子包含滤波器长达 $256$ 的房间声学问题。另一个例子是潜艇探测问题，它使用长为 $2048$ 的滤波器来获得更好的谱分辨率和处理增益。

Ferrara 所发表的论文是对 Dentino 等人所讨论的频域自适应滤波技术的扩展和改进。可以证明 Ferrara 的频域滤波器是在串行处理器上使用 FFT 实现的块自适应滤波器的一种特殊情况。这两种技术的主要差异在于基于 FFT 实现的块自适应滤波器是在时域调整权重，而 Ferrara 的滤波器是在频域调整权重。

9. 结论

推导了一种块自适应滤波器，它能够被快速实现，同时保持了与 LMS 自适应滤波器相同的性能。块表达式提供了一个统一的框架，维纳滤波和 LMS 自适应滤波都是该框架下的一种特殊情况（即块长 $L=1$ 的情况）。比较了 BLMS 和 LMS 自适应滤波器的收敛特性，结果表明两者是一样的。有研究指出，当输入数据相关时，BLMS 相比 LMS 自适应滤波器具有分析上的优势。最后，当在串行处理器上使用高效的卷积算法实现时，BLMS 自适应滤波器可以涉及较低的计算复杂度。如果使用并行处理器，预计可以进一步提升计算速度。研究工作仍在继续以将块自适应滤波技术扩展到其它类型的 FIR 和 IIR 结构。

10. 附录 A: 基于 FFT 的卷积的计算复杂度

The FFT algorithm used is for complex data。复数和实数运算之间的关系为：
  $1$ 个复数加法 $=2$ 个实数加法
  $1$ 个复数乘法 $=4$ 个实数乘法 + $2$ 个实数加法

两个长为 $L$ 和 $N$ 的序列的线形卷积结果是一个长为 $L+N-1$ 的序列。因此，为了使用 FFT 实现这样的卷积，必须要求序列的长度为 $N^{{}^{\prime }}\ge L+N-1$，以避免重叠。

只有在蝶形部分的数量 $({\text{log}}_2(N^{{}^{\prime }}/2))$ 为偶数时，The radix 4 FFT complexity formulas 才有用。当 ${\text{log}}_2(N^{{}^{\prime }}/2)$ 为奇数时，an efficient radix 2 section is used for the first section, and ${\text{log}}_4(N^{{}^{\prime }}/4)$ radix 4 sections are used for the remainder. Sorting out the results of the efficient procedure for real data requires $2N^{{}^{\prime }}$ real multiplies and $5N^{{}^{\prime }}$ real adds. 因此，对于每个输出数据块，FFT 的复杂度为 $(3/4)N^{{}^{\prime }}Q-4(N^{{}^{\prime }}/2-1)+2N^{{}^{\prime }}+b{N}^{{}^{\prime }}$ 次实数乘法以及 $(11/8)N^{{}^{\prime }}Q-2(N^{{}^{\prime }}/2-1)+5N^{{}^{\prime }}+b(3N^{{}^{\prime }}/2)$ 次实数加法，其中：
$$Q=\{\begin{array}{rl}& {\text{log}}_2(N^{{}^{\prime }}/2),{\text{log}}_2(N^{{}^{\prime }}/2)\text{even}\\ & {\text{log}}_2(N^{{}^{\prime }}/4),{\text{log}}_2(N^{{}^{\prime }}/2)\text{odd}\end{array}$$

且
$$b=\{\begin{array}{rl}& 0,{\text{log}}_2(N^{{}^{\prime }}/2)\text{even}\\ & 1,{\text{log}}_2(N^{{}^{\prime }}/2)\text{odd}\end{array}$$

卷积需要对输入数据和权重各进行一次 FFT 运算。还需要一次复数乘法和一次 iFFT 运算。对于每个数据块来说，这总共需要 $(9/4)N^{{}^{\prime }}Q-12(N^{{}^{\prime }}/2-1)+8N^{{}^{\prime }}+b(3N^{{}^{\prime }})$ 次实数乘法和 $(33/8)N^{{}^{\prime }}Q-6(N^{{}^{\prime }}/2-1)+16N^{{}^{\prime }}+b(9N^{{}^{\prime }}/2)$ 次实数加法。

梯度估计中的相关操作与上述的卷积操作类似，不过前者少计算一次 FFT。这是因为输入数据的变换在卷积运算过程中已经计算过了（见图 8）。对于每个数据块来说，，相关运算总共需要 $(3/2)N^{{}^{\prime }}Q-8(N^{{}^{\prime }}/2-1)+6N^{{}^{\prime }}+b(2N^{{}^{\prime }})$ 次实数乘法和 $(11/4)N^{{}^{\prime }}Q-4(N^{{}^{\prime }}/2-1)+11N^{{}^{\prime }}+b(3N^{{}^{\prime }})$ 次实数加法。

11. 后记

论文从块 LMS 算法入手，介绍了块自适应滤波器。块自适应滤波是研究频域自适应滤波器的基础，也是自适应滤波器版图中的一个重要组成部分。