【论文笔记之 CLMS】The Complex LMS Algorithm

浩哥依然

已于 2022-12-26 14:20:17 修改

阅读量1.6k

点赞数 1

分类专栏：论文笔记文章标签：复数LMS CLMS 时域复数LMS算法复数自适应滤波器

于 2022-04-27 13:49:57 首次发布

本文链接：https://blog.csdn.net/wjrenxinlei/article/details/124437747

版权

论文笔记专栏收录该内容

14 篇文章 11 订阅

订阅专栏

本文对 B. Widrow 等人于 1975 年在 Proceedings of the IEEE 上发表的论文进行简单地翻译。如有表述不当之处欢迎批评指正。欢迎任何形式的转载，但请务必注明出处。

论文链接：https://isl.stanford.edu/~widrow/papers/j1975thecomplex.pdf

1. 论文目的

提出 LMS 算法的复数形式。

2. 摘要

论文推导了用于复数信号的 LMS 自适应算法。原始的 Widrow-Hoff LMS 算法是 $W_{j+1}=W_{j}+2\mu \epsilon_{j} X_{j}$ 。其复数形式为： $\bm{W_{j+1}=W_{j}}+2\mu \bm{\epsilon_{j} \overline{X}_{j}}$ 。其中，黑体表示复数信号，横线表示复数共轭。

3. 实数 LMS 算法

自适应线性组合器是许多自适应系统中的关键元素。它的功能是对一组输入信号进行加权、求和，以生成自适应输出。时刻 $j$ 的输入信号向量 $X$ 和权重向量 $W$ 定义为：
$X_{j}= \begin{Bmatrix} x_{1j} \\ x_{2j} \\ \vdots \\ x_{nj} \end{Bmatrix} \quad W_{j}= \begin{Bmatrix} w_{1j} \\ w_{2j} \\ \vdots \\ w_{nj} \end{Bmatrix} \tag{1}$

输入信号是离散时间信号，而且权重是可变的。 $j$ 时刻的输出为：
$y_{j}=X_{j}^{T}W_{j}=W_{j}^{T}X_{j}\tag{2}$

自适应过程中所需要的误差信号 $\epsilon_{j}$ 是期望响应 $d_{j}$ 和输出信号 $y_{j}$ 之间的的差：
$\epsilon_{j}=d_{j}-y_{j}=d_{j}-W_{j}^{T}X_{j} \tag{3}$

LMS 自适应算法在每个采样时刻，通过递归地更改权重向量 $W_{j}$ 来最小化均方误差 $\epsilon_{j}$ ：
$W_{j+1}=W_{j}+2\mu \epsilon_{j} X_{j} \tag{4}$

其中， $\mu$ 是收敛因子，用以控制自适应的稳定性和速率。该算法基于最陡下降法，它根据均方误差的瞬时梯度估计值按比例地移动 $W_{j}$ 。已有文献证明其收敛性，推导其性能特征以及给出具体应用。

4. 复数 LMS 算法

自适应线性组合器的某些应用需要复数输出。 These include the adaptive filtering of high-frequency narrow-band signals at an intermediate frequency, in which case both $X_{j}$ and $d_{j}$ are translated in frequency without changing their phase relationships.

在这里插入图片描述
图1 展示了复数自适应线性组合器的两种表示方式。复数输入向量 ${\bm X_{j}}$ 和复数权重向量 ${\bm W_{j}}$ 分别为：
${\bm X_{j}} \triangleq \begin{Bmatrix} x_{1Rj} \\ x_{2Rj} \\ \vdots \\ x_{nRj} \end{Bmatrix} +i \begin{Bmatrix} x_{1Ij} \\ x_{2Ij} \\ \vdots \\ x_{nIj} \end{Bmatrix} =X_{Rj} + iX_{Ij} \\ {\bm W_{j}} \triangleq \begin{Bmatrix} w_{1Rj} \\ w_{2Rj} \\ \vdots \\ w_{nRj} \end{Bmatrix} +i \begin{Bmatrix} w_{1Ij} \\ w_{2Ij} \\ \vdots \\ w_{nIj} \end{Bmatrix} =W_{Rj} + iW_{Ij} \tag{5}$

其中， $R$ 表示信号的实部， $I$ 表示信号的虚部。尽管图1(a) 展示了每个输入对与四个权值相关联，但实际上只展示了两个自由度。复数误差和期望响应为：
${\bm \epsilon_{j}} \triangleq \epsilon_{Rj} + i\epsilon_{Ij} \\ {\bm d_{j}} \triangleq d_{Rj} + id_{Ij} \tag{6}$

相应的复数输出信号为：
${\bm y_{j}} \triangleq y_{Rj} + iy_{Ij} \tag{7}$

$(2)$ 和 $(3)$ 可以表达为以下复数形式：
${\bm y}_{j}={\bm X}_{j}^{T} {\bm W}_{j} = {\bm W}_{j}^{T} {\bm X}_{j}\tag{8}$
${\bm \epsilon}_{j}={\bm d}_{j} - {\bm y}_{j} = {\bm d}_{j} - {\bm W}_{j}^{T} {\bm X}_{j} = {\bm d}_{j} - {\bm X}_{j}^{T} {\bm W}_{j} \tag{9}$

尽管这些方程比 $(2)$ 和 $(3)$ 更通用，但它们完全对应。所有的乘法和加法都是复数的。

复数 LMS 算法必须能够同时自适应 ${\bm W}_{j}$ 的实部和虚部，即在某种意义上最小化 $\epsilon_{Rj}$ 和 $\epsilon_{Ij}$ 。一个合理的目标是最小化 the average total error power：
$E[{\bm \epsilon}_{j} \overline{{\bm \epsilon}}_{j}] = E[\epsilon_{Rj}^{2}+\epsilon_{Ij}^{2}] = E[\epsilon_{Rj}^{2}] + E[\epsilon_{Ij}^{2}] \tag{10}$

其中， $E$ 表示取期望。由于误差的两个分量彼此正交，因此它们不能独立地被最小化。

最小化 $E[{\bm \epsilon}_{j} \overline{{\bm \epsilon}}_{j}]$ 的复数 LMS 算法的推导与原始 LMS 算法的推导类似，只是必须遵守复代数规则。复数误差信号 $(9)$ 的共轭为：
$\overline{{\bm \epsilon}}_{j} = \overline{{\bm d}}_{j} - \overline{{\bm W}}_{j}^{T} \overline{{\bm X}}_{j} = \overline{{\bm d}}_{j} - \overline{{\bm X}}_{j}^{T} \overline{{\bm W}}_{j}\tag{11}$

${\bm \epsilon}_{j} \overline{{\bm \epsilon}}_{j}$ 相对于权重向量实部的瞬时梯度为：
$\bigtriangledown_{R}({\bm \epsilon}_{j} \overline{{\bm \epsilon}}_{j}) \triangleq \begin{Bmatrix} \frac{\partial ({\bm \epsilon}_{j} \overline{{\bm \epsilon}}_{j})}{\partial w_{1R}} \\ \vdots \\ \frac{\partial ({\bm \epsilon}_{j} \overline{{\bm \epsilon}}_{j})}{\partial w_{nR}} \end{Bmatrix} = {\bm \epsilon}_{j}\bigtriangledown_{R}(\overline{{\bm \epsilon}}_{j}) + \overline{{\bm \epsilon}}_{j}\bigtriangledown_{R}({\bm \epsilon}_{j}) = {\bm \epsilon}_{j}(-\overline{{\bm X}}_{j}) + \overline{{\bm \epsilon}}_{j}(-{\bm X}_{j}) \tag{12}$

相对于权重向量虚部的瞬时梯度为：
$\bigtriangledown_{I}({\bm \epsilon}_{j} \overline{{\bm \epsilon}}_{j}) = {\bm \epsilon}_{j}\bigtriangledown_{I}(\overline{{\bm \epsilon}}_{j}) + \overline{{\bm \epsilon}}_{j}\bigtriangledown_{I}({\bm \epsilon}_{j}) = {\bm \epsilon}_{j}(i\overline{{\bm X}}_{j}) + \overline{{\bm \epsilon}}_{j}(-i{\bm X}_{j}) \tag{13}$

对权重向量的实部和虚部使用最陡下降法，即沿着各自的负梯度估计方向改变它们的值，可以得到：
$W_{Rj+1}=W_{Rj} - \mu \bigtriangledown_{R}({\bm \epsilon}_{j} \overline{{\bm \epsilon}}_{j}) \\ W_{Ij+1}=W_{Ij} - \mu \bigtriangledown_{I}({\bm \epsilon}_{j} \overline{{\bm \epsilon}}_{j}) \tag{14}$

因为复数权重向量是 ${\bm W}_{j} = W_{Rj} + iW_{Ij}$ ，所以复数权重迭代准则可以被表述为：
${\bm W}_{j+1} = {\bm W}_{j} - \mu [\bigtriangledown_{R}({\bm \epsilon}_{j} \overline{{\bm \epsilon}}_{j}) + i\bigtriangledown_{I}({\bm \epsilon}_{j} \overline{{\bm \epsilon}}_{j})] \tag{15}$