【现代信号处理】09 - 自适应与LMS

自适应 Adaptive

1. 最小二乘的两个难题

1.1 概述

  我们从最小二乘开始。最小二乘有这样的基本模型。

  假设我们有这样的数据

$$Z=(z_1,z_2,...,z_n{)}^T$$

  我们希望用这组数据去估计我们的目标。我们希望能够找到一组数据，来极小化我们的目标函数。最终我们得到的解就是最小二乘解。

$$\begin{gathered} \omega =({\omega }_1,{\omega }_2,...,{\omega }_n{)}^T \\ minE(d-Z^T\omega {)}^2\Rightarrow {\omega }_{LS} \end{gathered}$$
  其实我们得到最小二乘解的时候，没有遇到过多的问题。但是实际上，我们可能会面临两方面的困难。

  首先我们要面对的问题是，目标函数可能具有自身的复杂性。因为我们是以均方误差作为目标函数的，并且我们采用的是线性估计。均方和线性使得我们在求解目标函数的时候没有遇到很多问题。我们也可以通过引入对角加载项的方法，让最小二乘进行正则化。但是，我们之前做的种种努力，都没有脱离均方和线性的范围。

  但是实际情况是，我们的目标函数可能并不是均方误差。这就使得，我们的目标函数求梯度，可能没有解析解。

$$J(\omega )\Rightarrow \nabla J(\omega )=0\cancel{\Rightarrow }\omega$$

  其次，我们可能会面临非稳态的环境。这种非稳态来源于两部分。首先，可能我们的目标函数本身是在变的。其次，我们的数据也是时变的，其统计特性会随着时间的改变而发生改变。这样的话，我们就不能一劳永逸的求出估计了。我们就需要在每一个时刻，都进行重新求解。

  一旦引入了这两个问题，我们之前做的努力，就有待商榷了。

1.2 Complexity of Objective Function

  首先我们来看待第一个问题。如果目标函数得不得解析解怎么办。

  这个时候我们可以引入数值优化的方法。

1.2.1 最速下降法

  最经典的就是最速下降法。Steepest Descent

  最速下降法是一种迭代的方法，我们从某一个初值开始，逐次进行迭代，每一次迭代都进行某种计算。我们希望我们的数据能够收敛到最优值。

$${\omega }_0\to {\omega }_1\to {\omega }_2\to ...\to {\omega }_n$$

$${\omega }_n\to {\omega }_{opt}\Rightarrow \nabla J({\omega }_{opt})=0$$

  迭代的话，就会有数值方程，我们假设已经有了ω_k了，我们想知道ω_k和ω_k+1之间有什么联系。

$${\omega }_{k+1}=g({\omega }_k)$$

  我们可以通过泰勒展开来寻找这种关系

$$J({\omega }_{k+1})=J({\omega }_k)+(\nabla J({\omega }_k){)}^T({\omega }_{k+1}-{\omega }_k)+o(||{\omega }_{k+1}-{\omega }_k|{|}^2)$$

  我们假定高阶无穷小可以忽略，只考虑线性的部分。

$$J({\omega }_{k+1})=J({\omega }_k)+(\nabla J({\omega }_k){)}^T({\omega }_{k+1}-{\omega }_k)$$

  我们想让这个式子尽可能的小，也就是

$$min(\nabla J({\omega }_k){)}^T({\omega }_{k+1}-{\omega }_k)$$

  根据柯西不等式等号成立条件
$${\omega }_{k+1}-{\omega }_k=-\mu \nabla ({\omega }_k)$$

  我们就到了迭代关系
$${\omega }_{k+1}={\omega }_k-\mu \nabla ({\omega }_k)(1)$$

1.2.2 牛顿法

  最速下降法是一个一阶的优化方法，如果我们不满足于一阶的优化方法，我们想继续做二阶的。我们可以进行二阶展开

$$J({\omega }_{k+1})=J({\omega }_k)+(\nabla J({\omega }_k){)}^T({\omega }_{k+1}-{\omega }_k)+\frac{1}{2}({\omega }_{k+1}-{\omega }_k{)}^T{\nabla }^{2}J({\omega }_k)({\omega }_{k+1}-{\omega }_k)$$

  其中二阶项是海森矩阵

$${\nabla }^{2}J({\omega }_k)\Rightarrow \text{ Hessian Matrix}$$

  一阶展开只有线性的部分。二阶展开以后，我们得到了一个二次型。现在，如果我们想要让目标函数尽可能小，我们只要对后面的部分进行求导即可

$$min[(\nabla J({\omega }_k){)}^T({\omega }_{k+1}-{\omega }_k)+\frac{1}{2}({\omega }_{k+1}-{\omega }_k{)}^T{\nabla }^{2}J({\omega }_k)({\omega }_{k+1}-{\omega }_k)]$$

$$\begin{gathered} \nabla {\omega }_{k+1}((\nabla J({\omega }_k){)}^T({\omega }_{k+1}-{\omega }_k)+\frac{1}{2}({\omega }_{k+1}-{\omega }_k{)}^T{\nabla }^{2}J({\omega }_k)({\omega }_{k+1}-{\omega }_k))=0 \\ \nabla J({\omega }_k)+2\ast \frac{1}{2}{\nabla }^{2}J({\omega }_k)\ast ({\omega }_{k+1}-{\omega }_k)=0 \\ {\omega }_{k+1}={\omega }_k-\mu \nabla ({\nabla }^{2}J({\omega }_k){)}^{-1}J({\omega }_k)(2) \end{gathered}$$

  这里需要注意一下

$${\nabla }_x(x^{T}Ax)=(A+A^T)x$$

  这里求导出来了两倍是因为hessian矩阵是对称的，转置等于其本身。

  这个二阶优化的方法叫做牛顿法。因此，如果我们的目标函数解不出解析解，我们就只能通过数值计算的方法进行逼近了。

1.3 Non-Stationary Environment

  我们再来说说第二个问题，我们让下标k代表时间。现在我们的数据和目标都是随时间变化的了。并且求解的系数也是个时变的参数了。

$$\begin{gathered} k\to Time \\ Z(k)=(z_1(k),...,z_n(k){)}^T \\ d\to d(k) \\ \omega \to \omega (k) \end{gathered}$$

  现在研究的对象全都是与时间相关的了，我们重写一下目标函数,然后进行求解就行

$$minE(d(k)-Z^T(k)\omega (k){)}^2\Rightarrow {\omega }_{opt}(k)$$

2. 最小均方自适应滤波器LMS

2.1 问题引入

  我们重新审视一下我们提出的有关最小二乘的两个问题。

  假设我们的研究对象是非平稳的，如果优化函数还是均方的，我们要求目标函数可以简单的用最小二乘解。因为虽然ω是随着时间变化的，但是我们计算最小二乘解只需要一步就能求解完成。

  但是，如果我们的目标函数不是均方的，很复杂，而且还是非平稳的，目标函数会与时间相关，这个时候怎么办呢?因为，首先，我们的最优解是一步解不出来的，需要通过不断的迭代。而且，最优解又是与时间相关的，会随时变化。即使，我们可以假设，最优解的时间变化是个慢过程，计算是个快过程，计算机计算性能足够高，能够在最优解状态改变之前得到结果。如果这个假设成立，会对计算机产生极大的压力，而且这样的算法也不具备普适性，没有办法得到广泛的应用。

  因此，我们需要用其他办法来解决这个既不平稳，目标函数又复杂的问题。事实上，如果我们能够让迭代的尺度和时间的尺度联系起来，这个问题就能得到解决了。

  这就是我们今天要思考的核心问题。

  我们一开始做的事情是这样的。

  在一个状态下，对采样得到的数据，通过不断的迭代，获得最优的参数估计。只要没找到最优解，我们的迭代就不会结束。然后进入下一个状态，继续采样，对采样数据不断迭代，得到新状态的最优估计参数，然后依次类推。

  现在，我们不这么做了。我们每次获得一个采样点就迭代一次。采样一次以后，目标函数就变了，我们在新的目标函数下继续迭代一次，是一种阶梯状的迭代方式。这么做其实更有利于对变化的环境进行追踪，因为虽然我们没有在原系统中得到最优解，但是系统马上就发生改变了，得到最优解也没有什么意义。这就是今天要探讨的自适应问题。

2.2 LMS

2.2.1 模型建立

  现在，我们要让我们的算法去适应环境的变化。我们写一下新的目标函数

$$J(\omega (k))=E(d(k)-Z^T(k)\omega (k){)}^2$$

  我们来求一下最速下降
$${\nabla }_{\omega }(J(\omega (k)))=-2Z(k)\ast (d(k)-Z^T(k)\omega (k))=-2Z(k)e(k)$$

  其中e(k)表示估计误差

$$e(k)=d(k)-Z^T(k)\omega (k)\Rightarrow \text{error}$$

  目前我们使用的符号k还都是表示时间，现在我们混用符号了。
$${\omega }_{k+1}={\omega }_k-\mu \nabla J({\omega }_k)$$

  现在我们要把计算得到的梯度进行代入

$${\omega }_{k+1}={\omega }_k-\mu Z(k)e(k)$$

  注意，原本上，ω的角标k是迭代次数，其他的k表示时间，在经过我们的符号统一之后，我们给k赋予了时间的含义，也就是每次采样一次，就发生一次迭代，然后新的迭代是用来估计新状态的最优参数的。其实，我们每次采样就迭代一次的想法是正确的，因为每次采样之后，系统就发生改变了，就算我们把最优参数算出来，也没有多大的意义。因为系统马上就变了，约等于四九年入国军。

$${\omega }_{k+1}={\omega }_k-\mu Z(k)(d(k)-Z^T(k)\omega (k))(i)$$

  (i)式就是非常有名的LMS自适应滤波器。(LMS = Least Mean Square)

2.2.2 LMS细节剖析

  其实自适应的目的就是为了把迭代和自身的发展实现统一。

  这里其实需要注意一下，因为看起来有些地方有些问题。就是我们在求梯度的时候，并没有写成期望的形式

$$J(\omega (k))=E(d(k)-Z^T(k)\omega (k){)}^2$$

  我们求梯度是这么写的，也就是没有加期望。
$${\nabla }_{\omega }(J(\omega (k)))=-2Z(k)\ast (d(k)-Z^T(k)\omega (k))=-2Z(k)e(k)$$

  这样是不是错了呢?实际上，并没有，因为我们在做LMS的时候，每次只采用1次，也就是说Z只代表了一个数据。一个数据是没有办法求期望的，因此就索性不写期望符号了。

  这里我们使用了一个小技巧，就是令瞬时值代替了期望值。 instant value -> expectation value

  LMS是个革命性的算法，里面有两个非常重要的思想

• LMS首先将迭代和时间的角标完成了统一，把采样和优化完成了统一
• 其次LMS使用瞬时值取代了平均值

  后面人们发现，这两个做法是非常聪明的，这个算法也得到了非常广泛的应用。因为实现极其简单，并且效果出人意料的好。

  这个算法来自与widrow，这个人做了第一个感知器，而且用模拟电路实现了。对神经网络的发展功不可没。而且这个人谦虚的说，自己不懂数学。

2.3 LMS与学习曲线

2.3.1 学习曲线的建立

  所谓学习曲线，就是误差随着时间的变化规律，变化规律可能会有很多形式，比如线性的，指数的等等

  我们希望知道LMS的误差曲线是什么情况。我们来计算两件事情。

$$\begin{gathered} (1)J(k)=E(d(k)-Z^T(k){\omega }_k{)}^2 \\ (2)\xi (k)=E({\omega }_k-{\omega }_0{)}^2 \end{gathered}$$

  其中，我们假设
$$d(k)=Z^T(k){\omega }_0+e_0(k)(ii)$$

$$\begin{gathered} e_0(k):\text{White Noise} \\ E(e_0(k)e_0(n))={\delta }_{kn} \end{gathered}$$
  这是一个简化的模型，我们假设目标值d(k)就是最优估计和白噪声。

  通常来说，我们的目标值d(k)应该具有这样的形式

$$d(k)=Z^T(k)\omega (k)$$

  这个模型其实是比较难处理的，我们就认为线性系数有一个最优的值可以去追寻。但是，如果直接把线性系数认为是不变的显然不太合理，于是我们又通过增加白噪声的方式，增加了一个加性扰动。

  因此我们的两个计算式子的计算意义如下

• 第一个式子是在计算估计值和目标值相差多少
• 第二个式子考察的就是，随着时间k的变化，我们的估计系数与最优的系数之间的距离是怎么减少的。这是一种跟踪的性能，我们跟踪系数，克服白噪声的影响，不断的逼近我们的最优系数。

2.3.2 估计系数误差的递推

  我们假设对估计的系数和最优的系数之间的距离是e,并且k时刻之间的距离是e(k)。这个距离就是误差
$$e(k)={\omega }_k-{\omega }_0(iii)$$

  现在我们想寻求k+1时刻的距离，并建立递推关系

$$e(k+1)={\omega }_{k+1}-{\omega }_0(iv)$$

  我们引入LMS,也就是把(i)式代入(iv)式

$$e(k+1)={\omega }_k-\mu Z(k)(d(k)-Z^T(k){\omega }_k)-{\omega }_0(v)$$

  我们再引入d(k)的近似模型，就是把(ii)代入(v)

$$\begin{gathered} e(k+1)={\omega }_k-{\omega }_0-\mu Z(k)(Z^T(k){\omega }_0+e_0(k)-Z^T(k){\omega }_k) \\ ={\omega }_k-{\omega }_0+\mu Z(k)Z(k{)}^T({\omega }_k-{\omega }_0)-\mu Z(k)e_0(k) \\ =(I+\mu Z(k)Z(k{)}^T)({\omega }_k-{\omega }_0)-\mu Z(k)e_0(k)(vi) \end{gathered}$$

  再把(iii)代入(vi)可得

$$e(k+1)=(I+\mu Z(k)Z(k{)}^T)e(k)-\mu Z(k)e_0(k)(vii)$$

  我们就得到了误差的递推式子(vii)

  但是通过观测，我们发现这个式子中，每一个变量都是随机变量。如果递推系数本身是个确定值的话，递推比较容易进行，但是现在，递推系数也是个随机变量。我们希望能够把某些变量确定下来

  当μ足够小的时候，有这样的式子成立

$$\begin{gathered} R\approx Z(k)Z^T(k) \\ \mu <<1 \end{gathered}$$

  这样做是有意义的。因为μ是步长,如果步长足够小，就可以对Z进行近似。

$${\omega }_{k+1}={\omega }_k-\mu \nabla J$$

  加入近似条件以后(vii)就变成了

$$e(k+1)=(I+\mu R)e(k)-\mu Z(k)e_0(k)$$

  但是这个矩阵结构仍然非常复杂，我们可以对R做特征分解

$$R=Q^T\Lambda Q$$

$$e(k+1)=(I+\mu Q^T\Lambda Q)e(k)-\mu Z(k)e_0(k)$$

  因为特征矩阵是正交矩阵，满足

$$Q^T\ast Q=Q\ast Q^T=I$$

  所以，我们又可以把式子写成

$$\begin{gathered} e(k+1)=Q^T(I+\mu \Lambda )Qe(k)-\mu Z(k)e_0(k) \\ Qe(k+1)=(I+\mu \Lambda )Qe(k)-\mu QZ(k)e_0(k)[1] \end{gathered}$$

  这里做一次变量代换，令

$$\begin{gathered} v(k)=Qe(k) \\ \varphi (k)=QZ(k)e_0(k)[2] \end{gathered}$$

  则[1]可以写成

$$v(k+1)=(I+\mu \Lambda )v(k)-\mu \varphi (k)[3]$$

  由于v(k)和φ(k)可以写成列向量的形式

$$\begin{gathered} v(k)=(v_1(k),...,v_n(k){)}^T \\ \varphi (k)=({\varphi }_1(k),...,{\varphi }_n(k){)}^T \end{gathered}$$

  所以有
$$v_i(k+1)=(1+\mu {\lambda }_i)v_i(k)-\mu {\varphi }_i(k)[4]$$
  我们可以进行递推了

$$v_i(k)=(1+\mu {\lambda }_i{)}^k{v}_i(0)-\sum _{j=0}^{k-1}(1+\mu {\lambda }_i{)}^{k-1-j}(\mu {\varphi }_i(j))[5]$$
  这里的这个v是对我们的误差进行某种正交变换的结果，并不影响误差的模

  我们发现误差随时间的规律是个指数变化，如果我们要让误差减小，必须让底数小于1。我们来计算一下这个步长的条件

$$|1+\mu {\lambda }_i|<1$$

$$\begin{gathered} \Rightarrow -1<1+\mu {\lambda }_i<1 \\ \Rightarrow -2<\mu {\lambda }_i<0 \end{gathered}$$

  因为正交阵的特征值一定大于0，所以我们得到了

$$\begin{gathered} \Rightarrow -\frac{2}{{\lambda }_i}<\mu <0 \\ |\mu |<\frac{2}{{\lambda }_i},\forall 1\le i\le n \\ \Rightarrow |\mu |<\frac{2}{{\lambda }_{max}} \end{gathered}$$

  因此，μ一定小于最大的特征值分之2

2.3.3 估计目标误差的递推

  我们研究的误差是两个。第一个是估计距离估计目标还有多远，第二个是估计系数距离真正的系数还有多远。我们刚才已经完成了第二个误差的计算，下面我们要开始计算第一个误差了。我们希望把这个两个误差能够联系在一起

$$\begin{gathered} d(k)-Z^T(k){\omega }_k=d(k)-Z^T(k)({\omega }_k-{\omega }_0+{\omega }_0) \\ =d(k)-Z^T(k){\omega }_0-Z^{T}e(k) \\ =d_0-Z^{T}e(k) \end{gathered}$$

  其中,d0表示最优的系数产生的估计误差,也就是白噪声e₀(k)

$$d_0=d(k)-Z^T(k){\omega }_0=e_0(k)$$

  因此，目标误差可以写做

$$\begin{gathered} E(d(k)-Z^T(k){\omega }_k{)}^2=E(e_0(k)-Z^T(k)e(k){)}^2 \\ =E[e_0(k{)}^2]-2\ast E[e_0(k)\ast Z^T(k)\ast e(k)]+E[Z^T(k)e(k)\ast e(k{)}^{T}Z(k)]<1> \end{gathered}$$

  我们发现这个式子可以写成三部分。

• 第一部分：是最优系数产生的误差，也就是最小误差,是个常数
• 第二部分：是交叉项，因为白噪声和后面的乘积都不相关，这个交叉项实际是0
• 第三部分：是我们需要认真研究的部分

  重写一下式<1>

$$E(d(k)-Z^T(k){\omega }_k{)}^2=J_{min}+E[Z^T(k)e(k)\ast e(k{)}^{T}Z(k)]<2>$$

  我们把第三项单独拿出来分析

$$E[Z^T(k)e(k)\ast e(k{)}^{T}Z(k)]<3>$$

  我们发现，Z^Te和e^TZ都是个标量。标量乘以标量还是个标量。由于我们知道，标量的迹就是它本身，所以我们可以把式子变成迹的样子。

$$E[Z^T(k)e(k)\ast e(k{)}^{T}Z(k)]=E[Tr(Z^T(k)e(k)\ast e(k{)}^{T}Z(k))]<4>$$

  矩阵的迹就是矩阵对角线主元之和，也等于特征值之和

$$Tr(A)=\sum _{k=1}^n{A}_{kk}=\sum _{k=1}^n{\lambda }_k$$

  迹具有这样的性质，求迹的矩阵可以交换乘积顺序

$$Tr(AB)=Tr(BA)$$

  因此<4>式可以进行这样的变形

$$\begin{gathered} E[Z^T(k)e(k)\ast e(k{)}^{T}Z(k)]=E[Tr(Z^T(k)e(k)e(k{)}^T\ast Z(k))] \\ =E[Tr(Z(k)\ast Z^T(k)e(k)e(k{)}^T)] \\ =Tr[E(Z(k)Z^T(k)\ast e(k)e(k{)}^T)] \end{gathered}$$

  相当于前三项作为一个整体，与第四项交换了乘积顺序。

  下面我们要引入玄妙的一步。我们假设Z和e是独立的。也就是前后两部分能分开算。这个假设其实是比较离谱的，但是最终得到的结果却是比较贴近的。

$$\begin{gathered} E[Z^T(k)e(k)\ast e(k{)}^{T}Z(k)]=Tr[E(Z(k)Z^T(k)\ast e(k)e(k{)}^T)] \\ =Tr[E((Z(k)Z^T(k))\ast E(e(k)e(k{)}^T)] \\ =Tr(RE(k))<5> \end{gathered}$$
  其中
$$\begin{gathered} R=E((Z(k)Z^T(k)) \\ E(k)=E(e(k)e(k{)}^T) \end{gathered}$$

  把<5>代入<2>中得

$$J(k)=J_{min}+Tr(RE(k))<6>$$

  我们希望把J和v联系在一起

$$\begin{gathered} Tr(RE(k))=Tr[E(Z(k)Z^T(k)e(k)\ast e(k{)}^T)] \\ =Tr[E(e(k{)}^T\ast Z(k)Z^T(k)e(k))] \\ =Tr[E(e(k{)}^T\ast E(Z(k)Z^T(k))\ast e(k))] \\ =Tr[E(e(k{)}^T\ast R\ast e(k))] \\ =Tr[E(e(k{)}^T\ast Q^T\Lambda Q\ast e(k))] \\ =Tr[E(v^T(k)\ast \Lambda \ast v(k))] \\ =Tr[E(\sum _{i=1}^k({\lambda }_i\ast |v_i(k){|}^2))] \end{gathered}$$

  因为已经是标量相加的结果了，迹可以去掉了

$$Tr[E(\sum _{i=1}^k({\lambda }_i\ast |v_i(k){|}^2))]=\sum _{i=1}^k({\lambda }_i\ast E(|v_i(k){|}^2))<7>$$

  <7>代入<6>中

$$J(k)=J_{min}+Tr(RE(k))=J_{min}+\sum _{i=1}^k({\lambda }_i\ast E(|v_i(k){|}^2))<8>$$

  我们对v继续进行处理,代入[5]式的结果，因为我们在计算系数误差的时候已经得到了v的具体表达式了

$$\begin{gathered} E(|v_i(k){|}^2)=E[(1+\mu {\lambda }_i{)}^k{v}_i(0)-\sum _{j=0}^{k-1}(1+\mu {\lambda }_i{)}^{k-1-j}(\mu {\varphi }_i(j)){]}^2 \\ =(1+\mu {\lambda }_i{)}^{2k}|v_i(0){|}^2-2\ast (1+\mu {\lambda }_i{)}^k{v}_i(0)\ast E[\sum _{j=0}^{k-1}(1+\mu {\lambda }_i{)}^{k-1-j}(\mu {\varphi }_i(j))] \\ +E[\sum _{j=0}^{k-1}\sum _{s=0}^{k-1}(1+\mu {\lambda }_i{)}^{k-1-j}(1+\mu {\lambda }_i{)}^{k-1-s}(\mu {\varphi }_i(j))(\mu {\varphi }_i(s))]<9> \end{gathered}$$

  首先，我们来看一下交叉项,由于e₀与其他的东西不相关，求期望是0，所以交叉项是0

$$E(\mu {\varphi }_i(j))=E(Q\mu Z(j)e_0(j))=0<10>$$

  后面部分中

$$E({\varphi }_i(j){\varphi }_i(s))=0,j\cancel{=}s$$
  因此

$$\begin{gathered} E({\mu }^2{\varphi }_i(j){\varphi }_i(s))={\mu }^2{Q}^T\ast QE(e_0(j){)}^{2}E(Z_i(j){)}^2 \\ ={\mu }^{2}E(e_0(j){)}^{2}E(Z_i(j){)}^2<11> \end{gathered}$$

  这里面由于Q是正交阵，乘积为1

  把<10>和<11>代入 <9>中

$$E(|v_i(k){|}^2)=(1+\mu {\lambda }_i{)}^{2k}|v_i(0){|}^2+\sum _{j=0}^{k-1}(1+\mu {\lambda }_i{)}^{2(k-1-j)}\ast {\mu }^{2}E(e_0(j){)}^{2}E(Z_i(j){)}^2<12>$$

  其中

$$J_{min}=E[(e_0(j){)}^2]<13>$$
  我们继续做个假设,这个假设影响不是非常大,就是结果看起来比较简洁

$$E[(Z_i(j){)}^2]={\lambda }_i<14>$$

  把<14>和<13>代入<12>中可得

$$E(|v_i(k){|}^2)=(1+\mu {\lambda }_i{)}^{2k}|v_i(0){|}^2+{\mu }^2{J}_{min}{\lambda }_i\sum _{j=0}^{k-1}(1+\mu {\lambda }_i{)}^{2(k-1-j)}<15>$$

  我们发现<15>后面部分是个等比数列求和问题，因此，我们可以把<15>继续写成

$$\begin{gathered} E(|v_i(k){|}^2)=(1+\mu {\lambda }_i{)}^{2k}|v_i(0){|}^2+{\mu }^2\ast {\lambda }_i\ast J_{min}\ast \frac{1-(1+\mu {\lambda }_i{)}^{2k}}{1-(1+\mu {\lambda }_i{)}^2} \\ =(1+\mu {\lambda }_i{)}^{2k}[|v_i(0){|}^2-\frac{{\mu }^2\ast {\lambda }_i\ast J_{min}}{1-(1+\mu {\lambda }_i{)}^2}]+\frac{{\mu }^2\ast {\lambda }_i\ast J_{min}}{1-(1+\mu {\lambda }_i{)}^2}<16> \end{gathered}$$

  其中

$$\frac{{\mu }^2\ast {\lambda }_i\ast J_{min}}{1-(1+\mu {\lambda }_i{)}^2}=\frac{{\mu }^2\ast {\lambda }_i\ast J_{min}}{-2\mu {\lambda }_i-{\mu }^2{\lambda }_i^2}=\frac{\mu J_{min}}{-2-\mu {\lambda }_i}<17>$$

   <17>代入<16>得

$$E(|v_i(k){|}^2)=[|v_i(0){|}^2+\frac{\mu J_{min}}{2+\mu {\lambda }_i}](1+\mu {\lambda }_i{)}^{2k}-\frac{\mu J_{min}}{2+\mu {\lambda }_i}$$

  最终我们得到了对目标估计的学习曲线方程

$$\{\begin{array}{l}E(|v_i(k){|}^2)=[|v_i(0){|}^2+\frac{\mu J_{min}}{2+\mu {\lambda }_i}](1+\mu {\lambda }_i{)}^{2k}-\frac{\mu J_{min}}{2+\mu {\lambda }_i}\\ J(k)=J_{min}+{\sum }_{i=1}^k({\lambda }_i\ast E(|v_i(k){|}^2))\end{array}$$

3. 小结

  我们为了求得LMS自适应滤波器的学习曲线，做了很多很多的假设，看似LMS非常不靠谱，因为做的假设往往很离谱。但是实际上，LMS效果非常好，并且学习曲线与我们做了很多假设的理论计算基本吻合。

  自适应这个思想，成功解决了迭代优化和非稳态两件事情，实现了采用时间和迭代时间两个时间尺度的统一。我们要构造一个自适应算法可能并不是很难。但是要注意，我们做自适应算法的时候，要做两件事情，首先要做仿真，然后要做理论上的分析，计算这个自适应算法的学习曲线。在计算学习曲线的时候，要敢于假设，把最后学习曲线的计算公式变得非常简洁漂亮才行。 算法+仿真+数学分析才是一个完整的研究。