【现代信号处理】 14 - NLMS扩展

NLMS扩展

1. 概述

  我们先从LMS开始。LMS是把最优化迭代的时间尺度和采样的时间尺度进行了融合得到的自适应滤波器。

  LMS

$$\begin{gathered} {\hat{\theta }}_{n+1}={\hat{\theta }}_n+\mu Z(n)e(n) \\ e(n)=d(n)-Z^T(n){\hat{\theta }}_n \end{gathered}$$

  为了消除LMS自适应滤波器对尺度变换的影响，我们需要对LMS做归一化。归一化就会除以Z(n)的平方，目的是为了兼顾Z(n)和e(n)的尺度

  因此就有了NLMS，归一化的LMS
  NLMS

$${\hat{\theta }}_{n+1}={\hat{\theta }}_n+\mu \frac{Z(n)}{||Z(n)|{|}^2}e(n)$$

  但是我们想为这个操作找到一种理论依据。也就是找到一种优化问题，让这个优化问题的最优解就是NLMS。我们之前其实已经接触过了，但是NLMS还有其他角度的理解。因此这一部分就是主要介绍NLMS的推广

2.多角度解读NLMS

2.1 高年级考试考低年级的题目的角度

  之前在介绍欠定方程的时候提到过这种解读。

  我们提出了这样的优化问题。就是要让n+1时刻系数和n时刻系数距离最短，同时n+1时刻的系数要满足n时刻的最优条件。这是因为，n+1时刻的数据已经做过优化了，理论上应该是满足n时刻的优化条件的。同时我们还要花费最小的成本，让步进值最短。相当于最小的成本换取最大的利益。

  这个优化问题就类似于，我们要求高年级的同学去做低年级的题目，并且要求高年级的同学要拿满分，并且高年级和低年级的同学的年龄要尽可能小。
$$\begin{gathered} min||{\hat{\theta }}_{n+1}-{\hat{\theta }}_n|{|}^2 \\ s.t.d(n)=Z^T(n){\hat{\theta }}_{n+1} \end{gathered}$$

  对这个优化问题进行求解的结果，就是NLMS。前面介绍过了，这里就不详细推导了。

1.2 高年级考试和低年级考试分数拉开差距的角度

  再换一个角度继续理解NLMS，我们引入这样两个量

• e₁是n时刻的数据和n时刻的系数产生的误差
• e₂是n时刻的数据和n+1时刻的系数产生的误差

$$e_1(n)=d(n)-Z^T(n){\hat{\theta }}_n$$
$$e_2(n)=d(n)-Z^T(n){\hat{\theta }}_{n+1}$$

  这个式子理论上应该是第二个式子误差更小。因为n+1时刻的系数是对n时刻的系数通过优化迭代得到的，因此有

$$|e_2(n)|<|e_1(n)|$$

  因此，我们希望e₂和e₁之间的误差要尽可能大

$$\begin{gathered} e_2(n)-e_1(n)=-Z^T(n)({\hat{\theta }}_{n+1}-{\hat{\theta }}_n) \\ =-Z^T(n)\Delta {\hat{\theta }}_{n+1} \\ max|e_2(n)-e_1(n)|=max|Z^T(n)\Delta {\hat{\theta }}_{n+1}| \end{gathered}$$

  这个极大化可以用柯西不等式来解

$$max|Z^T(n)\Delta {\hat{\theta }}_{n+1}|=||Z^T(n)||\ast ||\Delta {\hat{\theta }}_{n+1}||$$

  等号成立条件

$$\Delta {\hat{\theta }}_{n+1}=K\ast Z(n)$$
  即
$$\begin{gathered} |e_2(n)-e_1(n)|=||Z^T(n)||\ast ||\Delta {\hat{\theta }}_{n+1}|| \\ =||Z(n)||\ast |K|\ast ||Z(n)||(i) \end{gathered}$$

  我们假定，当我们取得极大化的时，有下式成立
$$\begin{gathered} e_2(n)=(1-\mu )e_1(n) \\ \mu \in (0,1) \end{gathered}$$

$$e_2(n)-e_1(n)=-\mu e_1(n)$$
$$|e_2(n)-e_1(n)|=|\mu |sgn(e_1(n))\ast e_1(n)(ii)$$

  联立(i)和(ii)

$$|K|\ast ||Z(n)|{|}^2=|\mu |sgn(e_1(n))\ast e_1(n)$$

  可得

$$K=sgn(k)\ast sgn(e_1(n))\ast |\mu |\frac{e_1(n)}{||Z(n)|{|}^2}$$

$${\hat{\theta }}_{n+1}-{\hat{\theta }}_n=\tilde{\mu }\ast \frac{Z(n)}{||Z(n)|{|}^2}\ast e_1(n)$$

  其中

$$\tilde{\mu }=sgn(k)\ast sgn(e_1(n))\ast |\mu |$$

  最终，我们从另外一个角度得到了规范化操作的理论支撑。

  如果说刚才是让高年级做低年级的题目，现在就是要高年级做高年级的题目，低年级做低年级的题目，但是高年级的得分要与低年级的得分拉开差距。

2.3 从预测的角度

  我们还有其他角度看到NLMS

  我们假设第n个系数和最优解之间的误差
$$ϵ(n)={\hat{\theta }}_n-{\theta }_{opt}$$

  则有下式成立

$$e(n)=d(n)-Z^T(n){\hat{\theta }}_n=d(n)-Z^T(n)({\theta }_{opt}+ϵ(n))(1)$$

$$d(n)=Z^T(n){\theta }_{opt}(2)$$
  把(2)代入(1)中可得

$$e(n)=Z^T(n)ϵ(n)(3)$$

  现在我们希望误差尽可能小,希望误差可以等于0，如果误差是0，那么数据和ε之间应该是正交的。ε一般被叫做残差。

  但是数据和残差不一定是正交的，我们就要对它做正交化

  这其实也是一种自适应的思想，我们就把这个正交化的结果叫做ε(2),得到的这个结果是一种预测。

$$ϵ(2)=ϵ(1)-Pro{j}_{Z(1)}ϵ(1)$$
  同时

$$ϵ(2)={\hat{\theta }}_2-{\theta }_{opt}$$

  然后我们继续做正交化

$$ϵ(3)=ϵ(2)-Pro{j}_{Z(2)}ϵ(2)$$

  我们做的这个事情与LMS思路不太一样，我们就是在做预测

$$ϵ(n+1)=ϵ(n)-Pro{j}_{Z(n)}ϵ(n)$$

$$Pro{j}_{Z(n)}ϵ(n)=Z(n)(Z^T(n)Z(n){)}^{-1}Z(n)ϵ(n)$$
  因为Z(n)是一个数，因此

$$\begin{gathered} ϵ(n+1)=ϵ(n)-Z(n)(Z^T(n)Z(n){)}^{-1}Z(n)ϵ(n) \\ =ϵ(n)-\frac{Z(n)Z^T(n)ϵ(n)}{||Z(n)|{|}^2}(4) \end{gathered}$$

  把(4)代入(3)中得

$$ϵ(n+1)=ϵ(n)-\frac{Z(n)e(n)}{||Z(n)|{|}^2}$$

  因为

$$\begin{gathered} ϵ(n+1)={\hat{\theta }}_{n+1}-{\theta }_{opt} \\ ϵ(n)={\hat{\theta }}_n-{\theta }_{opt} \end{gathered}$$

  最终能够得到
$${\hat{\theta }}_{n+1}={\hat{\theta }}_n-\frac{Z(n)}{||Z(n)|{|}^2}e(n)$$

2.4 引入对角加载的LMS

  NLMS自身有一定的缺陷。因为如果数据Z是0，或者Z很小，就会引起数值稳定性的剧烈波动。

  从调参的角度，为了提高数值稳定性，NLMS可以进一步处理

$${\hat{\theta }}_{n+1}={\hat{\theta }}_n-\mu \frac{Z(n)}{ϵ+||Z(n)|{|}^2}e(n)$$

  这个操作就是对角加载。但是为了避免被人说是调参，我们就要为这个动作找到理论根据。

  对角加载其实跟正则化是有关系的，我们从正则化角度来看待这个事情

  我们从牛顿法说起

$${\hat{\theta }}_1\to {\hat{\theta }}_2\to ...\to {\hat{\theta }}_n$$

$$\begin{gathered} mi{n}_{\theta }f(\theta ) \\ f({\hat{\theta }}_n+\Delta )=f({\hat{\theta }}_n)+{\nabla }_{\theta }{f}^T({\hat{\theta }}_n)\Delta +{\Delta }^T{H}_f({\hat{\theta }}_n)\Delta +O(||\Delta |{|}^2) \end{gathered}$$

  牛顿法就是要在梯度法的基础上，加入hessian矩阵

  要求极值，就求梯度

$$\begin{gathered} {\nabla }_{\Delta }({\nabla }_{\theta }{f}^T({\hat{\theta }}_n)\Delta +{\Delta }^T{H}_f({\hat{\theta }}_n)\Delta )) \\ ={\nabla }_{\theta }{f}^T({\hat{\theta }}_n)+H_f({\hat{\theta }}_n)\Delta \\ \Delta =-H_f^{-1}({\hat{\theta }}_n){\nabla }_{\theta }{f}^T({\hat{\theta }}_n) \end{gathered}$$

  因此，根据牛顿法

$${\hat{\theta }}_{n+1}={\hat{\theta }}_n-\mu H_f^{-1}({\hat{\theta }}_n){\nabla }_{\theta }f({\hat{\theta }}_n)$$

  计算一下梯度和海森矩阵

$$\begin{gathered} f(\theta )=||d(n)-Z^T(n)\theta |{|}^2 \\ =|d(n){|}^2-2d(n)Z^T(n)\theta +{\theta }^T(Z(n)Z^T(n))\theta \end{gathered}$$

$$\begin{gathered} H_f(\theta )=2Z(n)Z^T(n) \\ {\nabla }_{\theta }f=-2d(n)Z(n)+2Z(n)Z^T(n)\theta \\ =-2Z(n)(d(n)-Z^T(n)\theta ) \end{gathered}$$

  我们发现海森矩阵是个秩一矩阵，没法求逆

  为了能够求逆，我们就在海森矩阵的基础上做正则化

$$f(\theta )=||d(n)-Z^T(n)\theta |{|}^2+ϵ||\theta |{|}^2$$

$$H_f(\theta )=2Z(n)Z^T(n)+2ϵI$$

  现在就可逆了。因为前面的矩阵是对称并且正定的

$$\begin{gathered} Z(n)Z^T(n)\Rightarrow Q^T\Lambda Q \\ ϵI\Rightarrow ϵQ^{T}Q \end{gathered}$$
  二者相加，所有的对角线元就都是正的了

$${\nabla }_{\theta }f=-2Z(n)(d(n)-Z^T(n)\theta )+2ϵ\theta$$

  下面我们就可以使用牛顿法做迭代了

$${\hat{\theta }}_{n+1}={\hat{\theta }}_n+\mu (Z(n)Z^T(n)+ϵI{)}^{-1}(Z(n)(d(n)-Z^T(n)\theta )-ϵ\theta )$$

$$e(n)=d(n)-Z^T(n)\theta$$

  我们用一下矩阵求逆公式

$$(A+BCD{)}^{-1}=A^{-1}-A^{-1}B(C^{-1}+D{A}^{-1}B{)}^{-1}D{A}^{-1}$$

$$(ϵI+Z(n)Z^T(n){)}^{-1}={ϵ}^{-1}I-{ϵ}^{-1}Z(n)(1+{ϵ}^{-1}{Z}^T(n)Z(n){)}^{-1}{Z}^T(n){ϵ}^{-1}$$

$$\begin{gathered} (ϵI+Z(n)Z^T(n){)}^{-1}Z(n)={ϵ}^{-1}Z(n)-{ϵ}^{-1}Z(n)\frac{{ϵ}^{-1}{Z}^T(n)Z(n)}{1+{ϵ}^{-1}{Z}^T(n)Z(n)} \\ ={ϵ}^{-1}Z(n)(1-\frac{{ϵ}^{-1}{Z}^T(n)Z(n)}{1+{ϵ}^{-1}{Z}^T(n)Z(n)})=\frac{{ϵ}^{-1}Z(n)}{1+{ϵ}^{-1}{Z}^T(n)Z(n)} \\ =\frac{Z(n)}{ϵ+||Z(n)|{|}^2} \end{gathered}$$

  因此，我们就得到了

$${\hat{\theta }}_{n+1}={\hat{\theta }}_n+\mu \frac{Z(n)}{ϵ+||Z(n)|{|}^2}e(n)-\mu (ϵI+Z(n)Z^T(n){)}^{-1}ϵ{\hat{\theta }}_n$$

  但是当初算这个事情的人，海森矩阵加了正则化项，但是一阶导数没加正则化，最后就凑出来了个我们需要的结果

$${\hat{\theta }}_{n+1}={\hat{\theta }}_n+\mu \frac{Z(n)}{ϵ+||Z(n)|{|}^2}e(n)$$

  这个表面上是凑数据，实际上，这个还是可以做的。因为解析计算本来就是个近似，瞎搞的地方本来就很多，不差这一个。

3. NLMS的变种

3.1 Generalized NLMS

3.1.1 最优化条件解法

  下面我们要对NLMS进行推广，推广到仿射投影的自适应方法上

$$NLMS\Rightarrow \text{Affine Projection Adaptive Method(Generalized NLMS)}$$

  我们对NLMS约束条件是

$$
d(n) = Z^T(n) \hat \theta_{n+1} \

min_{\hat \theta_{n+1}} || \hat \theta_{n+1} - \hat \theta_n||^2
$$

  广义的NLMS要求更多,要求不仅高中生做初中生题目要满分，做以前的所有题目都要满分

$$d(k)=Z^T(k){\hat{\theta }}_{n+1},k=1,...,n$$

  我们来做最优化

$$\begin{gathered} \tilde{Z}(n)=(Z(1),...,Z(n)) \\ {\tilde{Z}}^T(n)=\left(\begin{array}{c}{Z}^T(1)\\ ...\\ Z^T(n)\end{array}\right){\tilde{Z}}^T(n)\theta =\left(\begin{array}{c}{Z}^T(1)\theta \\ ...\\ Z^T(n)\theta \end{array}\right) \end{gathered}$$

  令

$$\widetilde{d(n)}=(d(1),...,d(n){)}^T$$

  因为d全部都是数字，我们加个转置，让它立起来

  约束条件为
$$mi{n}_{{\theta }_{n+1}}||{\hat{\theta }}_{n+1}-{\hat{\theta }}_n|{|}^2,s.t.\tilde{d}(n)={\tilde{Z}}^T(n){\hat{\theta }}_{n+1}$$

  我们进行拉格朗日数乘法

$$L({\hat{\theta }}_{n+1},\lambda )=\frac{1}{2}||{\hat{\theta }}_{n+1}-{\hat{\theta }}_n|{|}^2-{\lambda }^T(\widetilde{d(n)}-{\tilde{Z}}^T(n){\hat{\theta }}_{n+1})$$

$$\begin{gathered} \nabla {\hat{\theta }}_{n+1}L={\hat{\theta }}_{n+1}-{\theta }_n+\tilde{Z}(n)\lambda =0 \\ \Rightarrow {\hat{\theta }}_{n+1}={\hat{\theta }}_n-\tilde{Z}(n)\lambda \end{gathered}$$

  代入约束条件中

$$\begin{gathered} \widetilde{d(n)}={\tilde{Z}}^T(n){\hat{\theta }}_{n+1}={\tilde{Z}}^T(n)({\hat{\theta }}_n-\tilde{Z}(n)\lambda ) \\ \widetilde{d(n)}-{\tilde{Z}}^T(n){\hat{\theta }}_n=-({\tilde{Z}}^T(n)\tilde{Z}(n))\lambda \end{gathered}$$

$$\lambda =-({\tilde{Z}}^T(n)\tilde{Z}(n){)}^{-1}(\widetilde{e(n)})$$

  我们的自适应结果就是

$${\hat{\theta }}_{n+1}={\hat{\theta }}_n+\tilde{Z}(n)({\tilde{Z}}^T(n)\tilde{Z}(n){)}^{-1}\widetilde{e(n)}$$

  为什么说是推广的呢?因为与NLMS相比，输入数据是个矩阵了，就不能放到分母上了，只能用逆的形式，但是仍然是个归一化的形式。

3.1.2 伪逆解法

  我们已经做过的事情可以再做一次

$$\begin{gathered} \Delta {\hat{\theta }}_{n+1}={\hat{\theta }}_{n+1}-{\hat{\theta }}_n \\ \widetilde{e(n)}=\widetilde{d(n)}-{\tilde{Z}}^T(n){\hat{\theta }}_n \\ ={\tilde{Z}}^T(n){\hat{\theta }}_{n+1}-{\tilde{Z}}^T(n){\hat{\theta }}_n \\ ={\tilde{Z}}^T(n)\Delta {\hat{\theta }}_{n+1} \end{gathered}$$

  优化条件

$$min||\Delta {\hat{\theta }}_{n+1}|{|}^{2}s.t.\widetilde{e(n)}={\tilde{Z}}^T(n)\Delta {\hat{\theta }}_{n+1}$$

  然后我们发现这是对欠定方程的最小模最小二乘。因为我们假定n是小于Z的维度的。

  我们用伪逆来表示这个解
$$\begin{gathered} \Delta {\hat{\theta }}_{n+1}=({\tilde{Z}}^T(n){)}^{+}\widetilde{e(n)} \\ =\tilde{Z}(n)({\tilde{Z}}^T(n)\tilde{Z}(n){)}^{-1}\widetilde{e(n)} \end{gathered}$$

  欠定方程的伪逆是这样表示的
$$A^{+}=A^T(A{A}^T{)}^{-1}$$

$${\hat{\theta }}_{n+1}={\hat{\theta }}_n+\tilde{Z}(n)({\tilde{Z}}^T(n)\tilde{Z}(n){)}^{-1}\widetilde{e(n)}$$

  我们发现跟刚才的结果是一样的

3.1.3 引入对角加载项

  万一这个逆求不出来怎么办?
  就用对角加载

$$ϵI$$

$$L(\theta )=||\widetilde{d(n)}-{\tilde{Z}}^T(n)\theta |{|}^2+ϵ||\theta |{|}^2$$

  牛顿法的结果

$${\hat{\theta }}_{n+1}={\hat{\theta }}_n+(ϵI+\tilde{Z}(n){\tilde{Z}}^T(n){)}^{-1}\tilde{Z}(n)\widetilde{e(n)}$$

  根据矩阵求逆公式

$$(ϵI+\tilde{Z}(n){\tilde{Z}}^T(n){)}^{-1}\tilde{Z}(n)=\tilde{Z}(n)(ϵI+{\tilde{Z}}^T(n)\tilde{Z}(n){)}^{-1}$$

  我们得到了广义的NLMS

$${\hat{\theta }}_{n+1}=\tilde{Z}(n)(ϵI+{\tilde{Z}}^T(n)\tilde{Z}(n){)}^{-1}\widetilde{e(n)}$$

3.1.4 小结

• 不同的角度看待同一个事情是非常有价值的
• 我们学过的知识和技巧都是有用的：拉格朗日、正则化、伪逆、矩阵求逆公式、牛顿法

3.2 sgn-LMS

  下面我们再提一下LMS的其他变种

• sgn-LMS

  这个其实之前也介绍过，但是这里要也给他提供一个优化任务

$${\hat{\theta }}_{n+1}={\hat{\theta }}_n+\mu Z(n)e(n)$$

$${\hat{\theta }}_{n+1}={\hat{\theta }}_n+\mu Z(n)sgn(e(n))$$
  为了提高计算效率，就取个符号，避免了乘法运算。在8086中，取符号相比于乘法，快了64倍。

   那么sgn-LMS有没有理论根基的呢

  这个是用最小一乘作为损失函数。目的是能够提高稳健性。

$$L(\theta )=|d(n)-Z^T(n)\theta |$$
  在均方意义下进行数值逼近得到的是均值
$$
min E|Z-a|^2 \

\Rightarrow a = E(Z)
$$

  如果在绝对值意义下进行数值逼近，得到的是中值

$$\begin{gathered} minE|Z-a| \\ \Rightarrow a=med(Z) \end{gathered}$$

$$\begin{gathered} \text{Sample Mean}:\frac{x_1+...+x_n}{n} \\ \text{Sample Median}:(x_1,...,x_n)并且(x_1\le ..\le x_n)\Rightarrow x(\frac{n}{2}) \end{gathered}$$

  样本均值最怕的就是野值。中位数就不怕野值。中位数就来源于最小一乘。中值能够克服冲激噪声。

  我们要对绝对值求导。绝对值本来是不可导的。如果想要求导，求的是次梯度。

  次梯度在凸优化中是基本工具

  这里我们简单的写一个。对次梯度不做展开了

$$\frac{d}{dx}|x|=\{\begin{array}{ll}1& \text{ x>0 }\\ 0& \text{x=0 }\\ -1& \text{x<0 }\end{array}=sgn(x)$$

$$\begin{gathered} {\nabla }_{\theta }L=sgn(d(n)-Z^T(n)\theta )Z(n) \\ =sgn(e(n))Z(n) \end{gathered}$$

  就得到了带符号的LMS。说明符号LMS是在最小一乘意义下优化

• double sign-LMS

$${\hat{\theta }}_{n+1}={\hat{\theta }}_n+\mu sgn(Z(n))sgn(e(n))$$

  这个可能就有点做过了。但是这个在有些场合确实还是在用，而且还很好用。

4. Ensemble Learning(集成学习)

  下面继续谈一下Ensemble Learning（集成学习）

  一句话总结：普通的学习是一个模型多组数据。集成学习是多个模型，一组数据。集成学习是很多个弱模型。这个问题的关键在于，数据怎么用。

  我们来谈其中的三种方法

4.1 Bagging

  实际上就是BootStrap Aggregating

  因为这是个分类问题，y至少有两个值

x 1 , . . . , x n y 1 , . . . , y n y ∈ { − 1 , 1 } x_1,...,x_n \\ y_1,...,y_n \\ y \in \{-1,1\} x1​,...,xn​y1​,...,yn​y∈{−1,1}

  我们在这n组数据中，随机取m个。然后把这个数据交给第一个模型得到结果m₁

$$(\left(\begin{array}{c}{x}_{n_1}\\ y_{n_1}\end{array}\right)...\left(\begin{array}{c}{x}_{n_m}\\ y_{n_m}\end{array}\right))\to m_1$$

  然后我们在随机取m个，把数据交给第二个模型，得到结果m₂。假设我们有k个模型，最终就得到k个结果。我们最终得到的结果就是k个结果的平均

$$\bar{m}=\frac{m_1+..+m_k}{k}$$

  为什么我们要从中随机挑选呢?

  因为我们使用的是弱模型，给他们非常充分的数据没有作用，随便给一点就到头了。当数据彼此之间没有很大差异，最简单的方法就是随机去取。

  这就是BootStrap Aggregating做的事情。也就是希望三个臭皮匠赛过诸葛亮。

4.2 Random forest

  然后是随机森林

  我们要做好多个决策树。因为这里面的决策树也是弱模型。feature和data也是给每个决策树都随便分配一点。可能每个决策树都只关注其中一个点

• feature
• data

4.3 Boosting

  boosting也是有k个弱模型，但是每个模型都给全部的数据，但是里面会有权重。类似一个错题本的作用。一开始数据给的权重是相等的。然后开始进行循环。如果某个模型处理完了以后，算一个α_i，看看刚练好的模型在第j个数据上做错了，就把它留下来。最后加起来，上一轮做错的数据权重就会增大。然后对α进行了一个变换，然后对权重重新变换。做对了权重减少，做错了权重减小。相当于把难做的题目留下来，如果都做对了权重就低，就不要了。

$${\alpha }_i=\sum _{j=1}^k{\omega }_{i-1}(j)I(m_i(x_j)\cancel{=}{y}_i)$$

$${\beta }_i=g({\alpha }_i)$$

$${\omega }_i(j)=\{\begin{array}{ll}{\omega }_{i-1}(j)exp({\beta }_i)& m_i(x_j)\cancel{=}{y}_j\\ {\omega }_{i-1}(j)exp(-{\beta }_i)& m_i(x_j)=y_j\end{array}$$

  在相机里就是用的类似的这种思路。

  总之，Ensemble Learning的套路就是随机选和错题本。