【现代信号处理】 13 - 深入探讨最小二乘

深入探讨最小二乘

1. 超定最小二乘

1.1 概述

  超定最小二乘就是我们一般能遇到的最小二乘，具有方程数大于未知数的特点。一般来说，超定方程是没有解的，只能通过近似的方式来进行计算。下面我们相当于对前面介绍的最小二乘进行稍加复习。

1.2 投影角度分析

  一般来说，最小二乘中需要拟合的矢量并不在数据域的子空间中，因此，我们要把这个矢量投影到列空间中进行近似计算。

$$\begin{gathered} d\in R^N,Z\in R^{N\ast n},\theta \in R^n,N>n \\ d=Z\theta \Rightarrow mi{n}_{\theta }||d-Z\theta |{|}^2 \\ \Rightarrow {\hat{\theta }}_{LS}=(Z^{T}Z{)}^{-1}{Z}^{T}d \end{gathered}$$

  得到的结果就是一个投影。这里面Z是一个瘦长的矩阵

$$Z\sim \left(\begin{array}{cc}& \\ & \\ & \end{array}\right)$$

1.3 SVD角度分析

  我们也可以从奇异值分解的角度来看待超定最小二乘。

  如果Z是列满秩的，我们对Z做奇异值分解有这样的式子

$$Z=U\Lambda V^T$$

  其中

$$\Lambda =\left(\begin{array}{ccc}{\sigma }_1& & \\ & ...& \\ & & {\sigma }_n\\ & 0& \end{array}\right)=\left(\begin{array}{c}\tilde{\Lambda }\\ 0\end{array}\right)$$

  因此，最小二乘解可以做这样的变形

$$\begin{gathered} {\omega }_{LS}=[(V{\Lambda }^T{U}^T)(U\Lambda V^T){]}^{-1}(V{\Lambda }^T{U}^T)d \\ =(V{\Lambda }^T\ast \Lambda V^T{)}^{-1}\ast (V{\Lambda }^T{U}^T)d(a) \end{gathered}$$

  其中

$${\Lambda }^T\Lambda =\left(\begin{array}{cc}\tilde{\Lambda }& 0\end{array}\right)\ast \left(\begin{array}{c}\tilde{\Lambda }\\ 0\end{array}\right)={\tilde{\Lambda }}^2(b)$$

  (b)代入(a)中可得

$$\begin{gathered} {\omega }_{LS}=V\ast \left(\begin{array}{ccc}{\sigma }_1^{-2}& & \\ & ...& \\ & & {\sigma }_n^{-2}\end{array}\right)V^T\ast (V\left(\begin{array}{cccc}{\sigma }_1& & & \\ & ...& & 0\\ & & {\sigma }_n& \end{array}\right)U^T)d \\ =V\left(\begin{array}{cccc}{\sigma }_1^{-1}& & & \\ & ...& & 0\\ & & {\sigma }_n^{-1}& \end{array}\right)\ast U^{T}d=Z^{+}d \end{gathered}$$

  伪逆使得超定最小二乘问题得到了精确解。伪逆是计算机中计算最小二乘的主要工具，一方面计算量小，另外一方面条件数小，数值计算稳定性好

2. 欠定最小二乘

2.1 概述

  一般最小二乘研究的是超定方程问题，现在我们把研究的对象变成欠定问题。欠定方程问题丝毫不比超方程问题要少，但是人们对最小二乘最主要的研究还是主要集中在超定问题上。现在我们来研究欠定最小二乘问题。

  欠定方程指的是变量数量大于方程数量的方程。一般来说欠定方程不仅有解，而且有无穷多解。

  超定方程是找不到解，我们要做近似。而欠定方程是解太多了，我们要做选择。数据Z是个矮胖的矩阵

$$\begin{gathered} \text{N<n Under-determined} \\ d=Z\theta \\ Z\sim \left(\begin{array}{ccccc}& & & & \\ & & & & \end{array}\right)\theta \sim \left(\begin{array}{c}\\ \\ \\ \end{array}\right) \end{gathered}$$

  我们假设Z是一个行满秩的矩阵

2.2 投影角度分析

  现在我们想找到一个满足需要的欠定方程的解。因为这是个选择问题，我们就必须要设定好选择的条件。比如模最小、能量最低、最稀疏或者显著分量最小

  我们就选择最简单的。这个简单可以从两方面来考虑

• 模最小
• 最稀疏

  我们今天设定的条件的模最小。我们想求模最小的估计，同时这个估计要使得欠定方程等式成立。这是一个条件极值问题

$$\begin{gathered} d=Z\theta Z\Rightarrow \text{Raw Full-Rank} \\ mi{n}_{\theta }||\theta |{|}^{2}s.t.d=Z\theta \end{gathered}$$

  我们来做这个拉格朗日数乘

$$\begin{gathered} L(\theta ,\lambda )=\frac{1}{2}||\theta |{|}^2-{\lambda }^T(d-Z\theta ) \\ =\frac{1}{2}{\theta }^T\theta -{\lambda }^T(d-Z\theta ) \end{gathered}$$

  求梯度

$${\nabla }_{\theta }L=\theta +Z^T\lambda =0$$

  可得

$$\theta =-Z^T\lambda (i)$$

  把(i)代入条件极值，求λ

$$\begin{gathered} L(\lambda )=\frac{1}{2}{\lambda }^{T}Z{Z}^T\lambda -{\lambda }^T(d+Z{Z}^T\lambda ) \\ =-\frac{1}{2}{\lambda }^{T}Z{Z}^T\lambda -{\lambda }^{T}d \end{gathered}$$

  我们再对λ求梯度

$$\nabla L(\lambda )=-Z{Z}^T\lambda -d=0$$

  即

$$\lambda =-(Z{Z}^T{)}^{-1}d(ii)$$

  把(ii)代入(i)

$$\theta =Z^T(Z{Z}^T{)}^{-1}d$$

  可以与超定最小二乘的结果进行比较

$${\hat{\theta }}_{LS}=(Z^{T}Z{)}^{-1}{Z}^{T}d$$

  我们发现两个式子是有差别的。因为一个是行满秩，一个是列满秩，使得转置和Z的乘积位置不一样，不然没有办法求逆。

2.3 SVD角度分析

  虽然在传统的分析角度看不出差别，但是放到SVD的角度来看，二者就是一致的了

$$Z=U(\Sigma 0)V^T$$
$$\begin{gathered} Z^T(Z{Z}^T{)}^{-1}=V\left(\begin{array}{c}\Sigma \\ 0\end{array}\right)U^T(U(\Sigma 0)V^T\ast V\left(\begin{array}{c}\Sigma \\ 0\end{array}\right)U^T{)}^{-1} \\ =V\left(\begin{array}{c}\Sigma \\ 0\end{array}\right)U^T\ast (U{\Sigma }^2{U}^T{)}^{-1}=V\left(\begin{array}{c}\Sigma \\ 0\end{array}\right)U^T\ast U{\Sigma }^{-2}{U}^T \\ =V\left(\begin{array}{c}{\Sigma }^{-1}\\ 0\end{array}\right)U^T=Z^{+} \end{gathered}$$
  我们发现得到的其实还是一个伪逆
$$\theta =Z^{+}d$$

  伪逆对我们理解最小二乘有非常本质的作用

2.4 基于SVD透视欠定最小二乘

  奇异值分解其实有透视的问题，让我们能够看到最小二乘的本质在哪里。这个透视是可以分析误差组成及其影响的

  我们把这个误差写出来

$${ϵ}_{min}=(d-Z\theta {)}^T(d-Z\theta )$$

  因为我们是最小误差了，根据正交性原理，估计的残差与估计的原材料是正交的，我们可以把误差进行简化

$${ϵ}_{min}=d^T(d-Z\theta )$$

  我们对误差做SVD,因为矩阵Z是个欠定矩阵，所以是行满秩的

$$\begin{gathered} {ϵ}_{min}=d^T(d-U(\Sigma 0)V^T\theta ) \\ =d^{T}U(U^{T}d-(\Sigma 0)V^T\theta ) \end{gathered}$$

  我们令

$$\begin{gathered} \tilde{d}=U^{T}d \\ \tilde{\theta }=V^T\theta =\left(\begin{array}{c}{\tilde{\theta }}_1\\ {\tilde{\theta }}_2\end{array}\right) \end{gathered}$$

  误差式子可以变换为

$$\begin{gathered} {ϵ}_{min}=d^{T}U(\tilde{d}-(\Sigma 0)\tilde{\theta }) \\ =d^{T}U(\tilde{d}-(\Sigma 0)\left(\begin{array}{c}{\tilde{\theta }}_1\\ {\tilde{\theta }}_2\end{array}\right)) \end{gathered}$$

  做到这里，我们就可以对我们的误差进行透视了。因为我们是欠定方程，θ会被分成两个部分。在优化中，这两个部分是截然不同的，这里面只有θ₁是有作用的

$$\tilde{d}=\Sigma {\tilde{\theta }}_1$$

  我们可以看到θ₂对约束条件成立没有任何作用，因为这个约束条件总是成立的

  事实上，θ₁是负责约束条件成立的，而θ₂是负责欠定方程的优化条件的。比如我们要优化估计的模最小

$$||\theta |{|}^2=||\tilde{\theta }|{|}^2$$

  上面这个式子是成立的，因为他们两个之间只不过是相差了一个正交变换。
$$\begin{gathered} ||\theta |{|}^2=||\tilde{\theta }|{|}^2=||{\tilde{\theta }}_1|{|}^2+||{\tilde{\theta }}_2|{|}^2 \\ =||{\Sigma }^{-1}\tilde{d}|{|}^2+||{\tilde{\theta }}_2|{|}^2 \end{gathered}$$

  这里面θ₁是没有办法修改的，要想让这个优化条件最小，就只能让θ₂归零了

$$mi{n}_{\theta }||\theta |{|}^2\Rightarrow {\tilde{\theta }}_2=0$$

2.5 应用：NLMS(Normalized LMS)

  这里我们回顾一个NLMS，归一化自适应滤波，这里面其实我们是有用到欠定最小二乘的

  先看LMS

$$\begin{gathered} LMS:{\hat{\theta }}_{n+1}={\hat{\theta }}_n+\mu Z(n)e(n) \\ e(n)=d(n)-Z^T(n){\theta }_n \end{gathered}$$

  LMS虽然非常好用，但是也有显著的缺点。尤其是Z的尺度对LMS的步幅有很大的影响

  我们可以看出来，估计的误差e也是与Z有关的。我们假设目标和Z扩大两倍，因为θ是个与尺度无关的量，因此θ不会有任何的变化，最后产生的结果就是误差e扩大了两倍。因为前面还有一个Z，所以步幅其实就是扩大了四倍

$$2e(n)=2d(n)-2Z^T(n){\theta }_n$$
$$LMS:{\hat{\theta }}_{n+1}={\hat{\theta }}_n+4\mu Z(n)e(n)$$

  也可以是看做μ扩大了四倍。这就引入了很大的不确定性。比如自动驾驶中的追踪问题。前面的车的信号不是恒定不变的，而是随着与前面车之间的距离变化的。信号的强度是在不断的发生强弱变化的。我们的追踪器应该消除掉这种强弱变化的影响。

  所以有人就觉得LMS应该做归一化，也就是有了NLMS

$${\hat{\theta }}_{n+1}={\hat{\theta }}_n+\mu \frac{Z(n)}{||Z(n)|{|}^2}e(n)$$

  事实上，当我们发现某个因素会受到尺寸因素的影响时，我们总喜欢做归一化。

  但是我们这么做其实没有理论支持，手工的痕迹太明显，就是在调参数。

  如果我们能够设计一个优化问题，并且最终得到的结果就是NLMS，那么就不是一个简单的调参动作了，而是具有了坚实的理论结果了。这其实是一个逆向思考的问题

  Goodwin实现了这个事情，设计出来了这个优化问题,他让θ_n+1去尽可能逼近θ_n，并且希望新的估计参数也能满足旧的约束条件。

$$\begin{gathered} Goodwin\Rightarrow mi{n}_{{\hat{\theta }}_{n+1}}||{\hat{\theta }}_{n+1}-\hat{\theta }n|{|}^{2}s.t.d(n)=Z^T(n){\hat{\theta }}_{n+1} \\ d(n)=\sum _{k=1}^{n}Z(n,k){\hat{\theta }}_{n+1}(k) \end{gathered}$$

  我们令

$$\Delta {\hat{\theta }}_{n+1}={\hat{\theta }}_{n+1}-{\hat{\theta }}_n$$

  则

$$Z^T(n)\Delta {\hat{\theta }}_{n+1}=d(n)-Z^T(n){\hat{\theta }}_n=e(n)$$

  我们可以发现，这就是个欠定最小二乘问题，因为方程就一个，但是未知数却很多。并且限定条件是模最小

$$mi{n}_{{\hat{\theta }}_{n+1}}||\Delta {\hat{\theta }}_{n+1}|{|}^{2}s.t.Z^T(n)\Delta {\hat{\theta }}_{n+1}=e(n)$$

  我们代入欠定最小二乘的结果

$$\begin{gathered} \Delta {\hat{\theta }}_{n+1}=Z(n)(Z^T(n)Z(n){)}^{-1}e(n) \\ =\frac{Z(n)}{||Z(n)|{|}^2}e(n) \\ {\hat{\theta }}_{n+1}-{\hat{\theta }}_n=\frac{Z(n)}{||Z(n)|{|}^2}e(n) \end{gathered}$$

  我们发现，在这个优化下得到的确实就是归一化的LMS。

3. QR分解与最小二乘

3.1 概述

  我们对最小二乘的认识其实已经有两个视角了，一个视角是传统的视觉，另外一个视角是伪逆的视角。下面我们将从第三个视角，也就是QR分解的视角去看待最小二乘。

$$\begin{gathered} \text{QR Decomposition} \\ Z\in R^{N\ast n}(N>n)Z=QRQ\in R^{N\ast N}{Q}^{T}Q=Q{Q}^T=I \\ R\in R^{N\ast n}\text{ Upper Triangle} \end{gathered}$$

3.2 基于QR分解透视超定最小二乘

  QR分解对理解最小二乘非常有用。我们刚才使用SVD透视了欠定的最小二乘，现在我们要用QR分解透视超定的最小二乘了

$$ϵ=||d-Z\theta |{|}^2=||d-QR\theta |{|}^2=||Q(Q^{T}d-R\theta )|{|}^2=||Q^{T}d-R\theta |{|}^2$$

  令

$$\begin{gathered} \tilde{d}=Q^{T}d \\ R=\left(\begin{array}{c}\nabla \\ 0\end{array}\right) \\ \tilde{d}=\left(\begin{array}{c}{\tilde{d}}_1\\ {\tilde{d}}_2\end{array}\right) \end{gathered}$$

  则

$$\begin{gathered} ϵ=||Q^{T}d-R\theta |{|}^2=||Q^{T}d-\left(\begin{array}{c}\nabla \\ 0\end{array}\right)\theta |{|}^2 \\ =||\left(\begin{array}{c}{\tilde{d}}_1\\ {\tilde{d}}_2\end{array}\right)-\left(\begin{array}{c}\nabla \\ 0\end{array}\right)\theta |{|}^2 \\ =||\left(\begin{array}{c}{\tilde{d}}_1\\ {\tilde{d}}_2\end{array}\right)-\left(\begin{array}{c}\nabla \ast \theta \\ 0\end{array}\right)|{|}^2 \\ =||{\tilde{d}}_1-\nabla \ast \theta |{|}^2+||{\tilde{d}}_2|{|}^2 \end{gathered}$$

  通过QR分解的透视，我们发现误差可以分为前后两部分。前面那一部分，我们可以通过调整θ，然后令第一项等于0。但是无论θ怎么调整，我们都影响不到第二项。因此超定最小二乘一般来说是等号不成立的。可以说第二部分就是内在误差，也就是不能消掉的误差。因此，通过近似计算，其实我们可以得到这样的结果

$$\theta ={\nabla }^{+}{\tilde{d}}_1$$

3.3 基于QR分解实现数值稳定的上三角化

3.3.1 高斯消元中的不稳定性

  其实提到上三角化，最常见的就是高斯消去(高斯-若尔当消元法)

  我们在做高斯消去的时候，如果第一个元素是0的话，我们还要通过行变换进行更改。我们找的主元应该尽可能小，不然后面消去的时候会乘以主元的倒数。

  高斯消去虽然比较简单，但是有很大的问题，就是数值稳定性不好，因为每次计算不能保证每次计算的主元大小。

  因此，我们就有这样的希望，能不能做正交化的对角化，使得变化前后并不影响每个列向量的模。

  这里介绍两种方法

• HouseHolder Reflection
• Givens Rotation

3.2.2 HouseHolder Reflection

(1)反射

  Householder 反射每次把矩阵的一列变成上三角矩阵应该有的样子，并且通过不断的减少反射矩阵的维度，保证不会修改前面已经变换完成的量。并且每一次变换都是正交变换，然后经过n次正交变换以后得到上三角矩阵

  所谓反射，其实就是找到一个轴，将一个矢量对这个轴做镜像

  具体的思路就是，先将矢量在这个轴上做投影，但是投影延长一倍，再做减法，就可以得到反射矢量

$$\text{Householder Reflection}Pro{j}_{u}x\Rightarrow 2Pro{j}_{u}x-x$$

  我们来表示一下这个投影，我们认为选择的轴的方向向量u是个单位向量

$$\begin{gathered} Pro{j}_{u}x=u(u^{T}u{)}^{-1}{u}^{T}x \\ =u{u}^{T}x \\ ||u||=1 \end{gathered}$$

  表示一下反射变换

$$\begin{gathered} 2Pro{j}_{u}x-x=2u{u}^{T}x-x \\ =(2u{u}^T-I)x \end{gathered}$$

  因此，我们可以得到一个反射矩阵

$$H=2u{u}^T-I$$

(2)反射矩阵

  我们研究一下得到的反射矩阵的性质

• 对称性

$$H^T=H$$

• 正交性

  这个反射矩阵一定是正交的

$$\begin{gathered} (2u{u}^T-I{)}^T(2u{u}^T-I)=(2u{u}^T-I)\ast (2u{u}^T-I) \\ =4u{u}^{T}u{u}^T-2u{u}^T-2u{u}^T+I \\ =4u{u}^T--2u{u}^T-2u{u}^T+I=I \end{gathered}$$

$$H^{T}H=H{H}^T=I$$

• 幂等性

  一个矢量反射两次就是它本身

$$H^2=I$$

(3)上三角化

  下面我们来用householder反射来做正交的上三角化,解决消去问题

  我们想通过反射达到这样的效果

$$H\left(\begin{array}{c}{x}_1\\ ...\\ ...\\ x_k\end{array}\right)=\left(\begin{array}{c}\ast \\ 0\\ ...\\ 0\end{array}\right)$$

  因为反射变换不影响矢量的模，所以

$$\ast =(x_1^2+...+x_k^2{)}^{\frac{1}{2}}$$

  我们想计算出这个反射矩阵。我们首先就要找到反射轴。

  反射轴其实就是矢量+反射的矢量

$$\begin{gathered} u^{\prime }=\left(\begin{array}{c}{x}_1\\ ...\\ ...\\ x_k\end{array}\right)+\left(\begin{array}{c}||x||\\ 0\\ ...\\ 0\end{array}\right) \\ u=\frac{u^{\prime }}{||u^{\prime }||} \end{gathered}$$

  然后通过反射矩阵公式即可以得到反射矩阵H

$$H=2u{u}^T-I$$

  我们发现在householder反射使得正交上三角化变得简单了。不过还有其他问题。因为我们不仅要搞第一列，还要搞第二列，并且搞第二列的时候第一列不能变化。

$$\begin{gathered} H_1\left(\begin{array}{c}\ast \end{array}\right)=\left(\begin{array}{ccccc}\ast & & & & \\ 0& & & & \\ ...& & \ast & & \\ ...& & & & \\ 0& & & & \end{array}\right) \\ {H}_2\left(\begin{array}{ccccc}\ast & & & & \\ 0& & & & \\ ...& & \ast & & \\ ...& & & & \\ 0& & & & \end{array}\right)=\left(\begin{array}{ccccc}\ast & \ast & & & \\ 0& \ast & & & \\ ...& 0& & \ast & \\ ...& ...& & & \\ 0& 0& & & \end{array}\right) \end{gathered}$$

  这里有个小技巧，我们使用少一阶的反射矩阵就行

$$\left(\begin{array}{cc}1& 0\\ 0& H_2\end{array}\right)\left(\begin{array}{ccccc}\ast & & & & \\ 0& & & & \\ ...& & \ast & & \\ ...& & & & \\ 0& & & & \end{array}\right)=\left(\begin{array}{ccccc}\ast & \ast & & & \\ 0& \ast & & & \\ ...& 0& & \ast & \\ ...& ...& & & \\ 0& 0& & & \end{array}\right)$$
  一直这样变换下去，最终就能得到上三角矩阵

  但是householder反射进行正交上三角化的问题在于，一改就是一列，像机关枪一样，只能扫射。

3.2.3 Givens Rotation

  第二种方法叫做Givens Rotation，就类似于精准狙击了，能把指定位置变成0

$$\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)\to \left(\begin{array}{c}\sqrt{x_1^2+x_2^2}\\ 0\end{array}\right)$$

  通过矩阵旋转的方式能够做到这个样子

$$\left(\begin{array}{cc}cos\theta & -sin\theta \\ sin\theta & cos\theta \end{array}\right)\ast \left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)=\left(\begin{array}{c}\sqrt{x_1^2+x_2^2}\\ 0\end{array}\right)$$

  其中

$$\begin{gathered} x_{1}sin\theta +x_{2}cos\theta =0 \\ \Rightarrow \theta =ta{n}^{-1}(-\frac{x_2}{x_1}) \end{gathered}$$

  如果我们想让第i行，第j列的元素归零怎么办

$$\left(\begin{array}{ccccc}& & & & \\ & & & & \\ & & x_{ij}& & \\ & & & & \\ & & & & \end{array}\right)$$

  Givens Rotation一定要选择两个元素进行操作，另外一个元素一般会选在对角线上

  最终会有这样的一个式子。旋转矩阵的样子为，对角线都是1，其他地方都是0，在i和j的位置上放置旋转量

  这个旋转矩阵只会对第i行和第j行产生影响。由于在连续旋转的时候，操作数字左边的部分都已经归零了，所以旋转操作不会影响前面已经修改好了的部分，只会影响后面的部分。

3.3 QR分解与递归最小二乘

  在了解了householder reflection和givens rotation之后，我们要从一个全新的角度看待递归最小二乘

$$\begin{gathered} \text{RLS} \\ {\theta }_n={\varphi }^{-1}(n)Z(n) \\ \varphi (n)=\sum _{k=1}^{n}z(n)z^T(n) \\ Z(n)=\sum _{k=1}^{n}z(n)d(n) \end{gathered}$$

  我们希望能够通过低阶逆递推构造高阶的逆

$${\varphi }^{-1}(n)\to {\varphi }^{-1}(n+1)$$

  在以前的求解中，我们是使用矩阵求逆公式做的

$${\varphi }^{-1}(n)\to {\varphi }^{-1}(n+1)=(\varphi (n)+z(n+1)z^T(n+1){)}^{-1}$$

  现在我们要从QR分解的角度看待递归最小二乘

$$\begin{gathered} D(N)=(d(1),..,d(N)){)}^T\in R^N \\ \tilde{Z}(N)=\left(\begin{array}{c}{z}^T(1)\\ ...\\ z^T(N)\end{array}\right)\in R^{N\ast n} \end{gathered}$$

  我们对优化条件做QR分解

$$\begin{gathered} mi{n}_{\theta }||D(N)-\tilde{Z}(N)\theta |{|}^2 \\ =mi{n}_{\theta }||D(N)-Q_{N}R\theta |{|}^2 \\ =mi{n}_{\theta }||Q_N(Q_N^{T}D(N)-R\theta )|{|}^2 \\ =mi{n}_{\theta }||Q_N^{T}D(N)-R\theta |{|}^2 \\ =mi{n}_{\theta }||Q_N^{T}D(N)-\left(\begin{array}{c}{\nabla }_N\\ 0\end{array}\right)\theta |{|}^2 \end{gathered}$$

  其中

$$\tilde{Z}(N)=Q_N\left(\begin{array}{c}{\nabla }_N\\ 0\end{array}\right)$$

  我们发现Z(N)是与θ和上三角阵有关的，我们只要找到θ的递推式和上三角阵有关的递推式，我们就能够找到Z的递推式

$$\begin{gathered} LS\iff Obtationing(Q_N,{\nabla }_N) \\ (Q_N,{\nabla }_N)\to (Q_{N+1},{\nabla }_{N+1}) \end{gathered}$$

$$\tilde{Z}(N+1)=\left(\begin{array}{c}{z}_1^T(1)\\ ...\\ z^T(N+1)\end{array}\right)=\left(\begin{array}{c}\tilde{Z}(N)\\ \\ z^T(N+1)\end{array}\right)$$

  N+1数据矩阵是在N数据矩阵的前提下加了一行

  左乘一个矩阵

$$\begin{gathered} \left(\begin{array}{cc}{Q}_N& 0\\ 0& 1\end{array}\right)\tilde{Z}(N+1) \\ =\left(\begin{array}{cc}{Q}_N& 0\\ 0& 1\end{array}\right)\ast \left(\begin{array}{c}\tilde{Z}(N)\\ \\ z^T(N+1)\end{array}\right)=\left(\begin{array}{c}{\nabla }_N\\ 0\\ z^T(N+1)\end{array}\right) \end{gathered}$$

  现在相当于在原来的上三角矩阵下面，多了一行，我们希望把最后一行的数字给消掉。其实我们就可以使用Givens Rotation的方法去做，每次消掉一个数，然后不断乘旋转矩阵，最后就能使得最后一行消失

$$G_n^{(N+1)}\ast ...\ast G_3^{(N+1)}{G}_2^{(N+1)}{G}_1^{(N+1)}\left(\begin{array}{cc}{Q}_N& 0\\ 0& 1\end{array}\right)\ast \left(\begin{array}{c}\tilde{Z}(N)\\ \\ z^T(N+1)\end{array}\right)=\left(\begin{array}{c}{\nabla }_{N+1}\\ 0\end{array}\right)$$

  然后我们就可以得到上三角阵的递推，而左边这部分式子，其实就是Q的递推

$$Q_{N+1}=G_n^{(N+1)}\ast ...\ast G_3^{(N+1)}{G}_2^{(N+1)}{G}_1^{(N+1)}\left(\begin{array}{cc}{Q}_N& 0\\ 0& 1\end{array}\right)$$

$$Q_{N+1}\tilde{Z}(N+1)=\left(\begin{array}{c}{\nabla }_{N+1}\\ 0\end{array}\right)$$

  我们得到了基于QR分解的递归最小二乘。这个递归最小二乘在芯片里面用的最多。原来的那个更像卡尔曼滤波，在跟踪问题中用的比较多

4. 小结

  现在，我们对最小二乘有了更多维度的认识。从一开始的传统的投影的角度，到SVD的伪逆的角度，最后我们又接触了QR分解的角度。