【现代信号处理】 12 - 深入探讨奇异值分解

深入探讨奇异值分解

1. PCA、KL展开与SVD

1.1 PCA公式证明

  我们考虑一个随机矢量,其中z_k是一个随机变量

$$Z=(z_1,...,z_n{)}^T$$

  我们假定Z符合高斯分布

$$Z\sim N(\mu ,\Sigma )$$

  我们想对Z进行PCA，我们假设Z是个无偏的估计

$$\begin{gathered} E(Z)=0 \\ Var(Z)=E|Z{|}^2 \end{gathered}$$

  我们想对Z进行分析，找到他能量分布最大的方向α，同时我们假设方向向量α是个单位向量,要找到Z能量分布最大的方向，也就是Z在α上投影最大。

$$\begin{gathered} \alpha \in R^n \\ E|Pro{j}_{\alpha }Z{|}^2\Rightarrow maxE|Pro{j}_{\alpha }Z{|}^2,s.t.||\alpha ||=1 \end{gathered}$$

  根据投影公式

$$\begin{gathered} Pro{j}_{\alpha }Z=\alpha ({\alpha }^T\alpha {)}^{-1}{\alpha }^{T}Z \\ ||Pro{j}_{\alpha }Z|{|}^2=Z^T\alpha ({\alpha }^T\alpha {)}^{-1}{\alpha }^T\ast \alpha ({\alpha }^T\alpha {)}^{-1}{\alpha }^{T}Z \\ =Z^T\alpha \ast {\alpha }^{T}Z \end{gathered}$$

  所以目标函数变成

$$\begin{gathered} E|Pro{j}_{\alpha }Z{|}^2\Rightarrow maxE|Pro{j}_{\alpha }Z{|}^2,s.t.||\alpha ||=1 \\ \Rightarrow ma{x}_{\alpha }E|{\alpha }^{T}Z{|}^2,s.t.||\alpha ||=1 \end{gathered}$$

  用拉格朗日数乘法解条件极值问题

$$\begin{gathered} g(\alpha ,\lambda )=E({\alpha }^{T}Z)(Z^T\alpha )-\lambda ({\alpha }^T\alpha -1)={\alpha }^T{R}_Z\alpha -\lambda ({\alpha }^T\alpha -1) \\ {\nabla }_{\alpha }g(\alpha ,\lambda )=2R_Z\alpha -2\lambda \alpha =0 \\ {R}_Z\alpha =\lambda \alpha \end{gathered}$$

  其中

$$R_Z=E(Z\ast Z^T)$$

  说明得到的方向是Z的相关矩阵的特征向量。

  而我们希望获得最大化的能量分散，也就是要获得最大的特征值

$$\begin{gathered} max{\alpha }^T{R}_Z\alpha =max\lambda \\ \Rightarrow max{\alpha }_1^T{R}_Z{\alpha }_1=max{\lambda }_1 \end{gathered}$$

  因此我们找到的第一个主成分，就是最大的那个特征值。我们希望继续找能量分散最大的方向，其实也就是要到α的正交补空间中继续寻找，因此如果继续求条件极值的话，目标函数应该是这样的

$$\begin{gathered} ma{x}_{{\alpha }_n}E|{\alpha }_n^{T}Z{|}^2 \\ s.t.||{\alpha }_n||=1 \\ s.t.{\alpha }_1^T{\alpha }_n=0 \end{gathered}$$

  这样子找下去，其实获得的就是次小的特征值。然后依次类推，最后可以得到一组标准正交基。

  我们能得到这样的式子

$$\begin{gathered} R_Z=\sum _{k=1}^n{\lambda }_k{\alpha }_k{\alpha }_k^T \\ {\lambda }_1\ge {\lambda }_2\ge ...\ge {\lambda }_n \\ {\alpha }_1,{\alpha }_2,...,{\alpha }_n \end{gathered}$$

1.2 Karhunen-Loeve展开

  既然我们通过PCA之后，能够得到一组标准正交基，那么Z一定能够被分解为这一组标准正交基的线性组合

$$Z=k_1{\alpha }_1+k_2{\alpha }_2+...+k_n{\alpha }_n{k}_i={\alpha }_i^{T}Z$$

  这个式子叫做 Karhunen-Loeve展开，而且这个展开非常有趣的地方在于，除了基向量是正交的以外，系数是个随机变量，并且任意两个随机变量也是正交的

$$\begin{gathered} E(k_i{k}_j)=E({\alpha }_i^{T}Z\ast Z^T{\alpha }_j) \\ ={\alpha }_i^T{R}_Z{\alpha }_j=({\alpha }_i^T{\alpha }_j){\lambda }_j=0 \end{gathered}$$

  因此这个式子具有双正交性。主成分分析的展开具有双正交性，特征向量是正交的，同时特征向量前面的系数是随机变量，也是正交的。得到的这个展开式叫做Karhunen-Loeve展开，基在欧式空间是正交的，系数在随机变量的空间里，也是正交的。因此Karhunen-Loeve和PCA本质上是一样的

1.3 基于SVD提高PCA计算精度

  SVD可以用来提高PCA计算的精度，主要表现在，一方面能够降低运算量，并且提高计算精度；另外一方面也可以做性能很好的降噪处理。

1.3.1 优化数值计算稳定性

  我们假设我们有N的采样数据，每个数据是n维度的

$$X_1,....,X_N,X_N\in R^n$$

  我们想通过采样数据估计一个相关阵

$${\hat{R}}_Z=\frac{1}{N}\sum _{k=1}^N{X}_k\ast X_k^T$$

  因为我们也不知道具体样本均值是多少，就只能进行替代计算。用一行乘以一列得到一个矩阵，然后把这些秩一矩阵加在一起，最后求个平均值。

  也就是

$${\hat{R}}_Z=\frac{1}{N}X\ast X^T=E(X\ast X^T)$$

$$X=(X_1,...,X_N)$$

  我们如果想对相关矩阵做特征分解，问题很大。

• 首先，运算量很大。如果要计算相关阵，就已经是N*n²的运算量了，更不用说计算特征值和特征向量
• 其次，这个矩阵的条件数很大，是正常的X本身的条件数的平方，数值稳定性很差。如果这个矩阵缺秩，或者近似缺秩，会产生很大的误差

  我们希望能够在数据域进行计算。不计算相关阵了

  如果X能够进行奇异值分解

$$\begin{gathered} X=U\Sigma V^T \\ X\ast X^T=U\Sigma {\Sigma }^T{U}^T \end{gathered}$$
  得到的结果就是特征分解。所以，我们不需要计算相关矩阵，也不需要计算相关矩阵的特征分解。

  相关矩阵上的特征向量，其实就等同于数据矩阵上的左奇异向量

$$\begin{gathered} \text{Correlation Matrix}\Rightarrow \text{Eigenvector} \\ \text{Data Matrix}\Rightarrow \text{Left Singular Vector} \end{gathered}$$

  这样就解决了计算量大和数值计算稳定性的问题。

1.3.2 降噪

  但是使用SVD，跨过相关矩阵，直接取计算特征值和特征向量，可能忽视了一个问题，就是降噪。人们认为，求相关矩阵的过程中会求平均值，然后再做的特征分解。相当于做了均值滤波，也就是低通滤波,因此这种做法曾受到人们的质疑。

  但是实际上，SVD本身就具有降噪的能力，并且性能比平均值滤波要好。

  我们举一个例子来说明这个事情

  假设有一个谐波信号，并且有很多个点对这个谐波信号进行接收

$$\begin{gathered} X(t)=sin(\omega t) \\ {X}_i(t)=A_{i}sin(\omega t+{\varphi }_i),i=1,...,n \end{gathered}$$

  假设每个接收站都采样了N个。

$$\begin{gathered} X_i(k)=A_{i}sin(\omega k\Delta +{\varphi }_i) \\ k=1,...,N \\ i=1,...,n \end{gathered}$$

  我们的采样幅度和相位可能有区别，但是频率不会有影响。因此我们得到了这样的数据

$$X=\left(\begin{array}{c}{X}_1\\ ...\\ X_n\end{array}\right)=\left(\begin{array}{ccc}{X}_1(1)& ...& X_1(N)\\ ...& ...& ...\\ X_n(1)& ...& X_n(N)\end{array}\right)$$

  对数据进行变形

$$\begin{gathered} X_i(k)=A_{i}sin(\omega k\Delta +{\varphi }_i) \\ =A_{i}cos({\varphi }_i)sin(\omega k\Delta )+A_{i}sin({\varphi }_i)cos(\omega k\Delta ) \\ =C_{i}Sin(\omega k\Delta )+D_{i}cos(\omega k\Delta ) \end{gathered}$$

  我们假设X_i是行向量

$$X_i=C_i(sin(\omega \Delta ),...,sin(\omega N\Delta ))+D_i(cos(\omega \Delta ),...,cos(\omega N\Delta ))$$

  因为X的所有元素都是两个矢量的线性组合，所以X的秩就是2

$$\text{noise free: }rank(X)=2$$

  现在考虑给X加入噪声

$$\hat{X}=X+N$$

  引入噪声之后，通常Z就满秩了。我们假设有噪声条件下秩是n

$$\text{noise: }rank(\hat{X})=n$$

  我们对没有噪声和有噪声的信号分别做奇异值分解，试图去理解它的降噪作用

  X的秩是2

$$X=U\left(\begin{array}{cccc}{\sigma }_1& & & \\ & {\sigma }_2& & \\ & & ...& \\ & & & 0\end{array}\right)\ast V^T$$
  加了噪声以后就满秩了

$$\hat{X}=\hat{U}\left(\begin{array}{cccc}{\hat{\sigma }}_1& & & \\ & {\hat{\sigma }}_2& & \\ & & ...& \\ & & & {\hat{\sigma }}_n\end{array}\right)\ast {\hat{V}}^T$$
  这样的话，我们得到的前两个特征值是谐波的能量，后面的特征值代表的就是噪声的能量。因此，我们只要对有噪声的信号进行奇异值阶段即可。也就是从第二个奇异值以后的奇异值全部变成0

  我们就可以通过这样的方法来进行降噪。使用奇异值分解进行降噪包括两步

• 把噪声和信号分离开来
• 奇异值阶段

  第一步，把噪声和信号分离开来，我们要解决的问题就是区分哪些维度对应信号，哪些维度对应噪声。

  我们可以通过像分析PCA的时候那样，分析特征值的取值情况，一般来说中间会有一个断崖式的下跌，也就让我们找到了噪声和信号的分界线。

  但是有时候可能会没有这个分界线

  这个时候主要的原因在于信噪比太低了。这看似是个非常矛盾的事情，因为我们就是因为有噪声才想做降噪，反而因为信噪比低做不了。这里的要求信噪比高是一个相对的情况。比如对雷达信号进行统计推断的时候，要求信噪比达到12-13db，而可能奇异值分解的方法降噪只需要达到5-6db的信噪比即可。因此这种方法还是可以的。

  第二步就是把噪声进行截断，让那些噪声对应的奇异值变成0,然后再计算。这样降噪其实比平均值好的多。如果波形本身有变化，平均值降噪就没啥用，噪声没去掉，信号细节也不见了。因为我们做了正交分解，所以我们对一些维度进行截断，并不影响信号的维度。

1.3.3 应用：Eigenface人脸识别算法

  我们来举个例子，说明一下svd优化过的pca具体是怎么使用的

  如果我们从另外一个角度来看待这个事情，其实这可以看做是一种信息压缩。原本有n个自由度，现在变成了几个。但是这种压缩不是为了数据传输准备的。因为这种压缩并没有任何的传输收益。

  经过前面的介绍，我们其实可以发现，SVD,KL展开(卡布兰诺为展开)，PCA实际上做的是一件事情。

$$Z=K_1\alpha 1+...+K_n{\alpha }_n\Rightarrow Z=K_1{\alpha }_1+K_2{\alpha }_2$$

  如果我们用svd之后的结果做数据传输的话，我们不仅要传输系数，还要传输基底，这样的话不如直接传输原始数据。而图像压缩的那种，比如DCT或者DWT，他们的基变量是同一个，因为基变量是通过对图像的分析得到的，基变量近似相等，这样的话，我们就传输两个系数就行。

  我们这里做的这种压缩，实际上是为了做分类的(进行了信息提纯)。

$$Compression\{\begin{array}{l}\Rightarrow Transmission\\ \Rightarrow Classification\end{array}$$

  比如在人脸识别中，人脸上的小黑头对人脸识别没有什么作用，我们就需要进行提纯操作，把不重要的部分全部丢弃。

  因此，这里我们介绍人脸识别中具有里程碑意义的算法eigenface（2001）,在深度学习出现之前，这个算法是最好的，因为他简单。matlab实现不到20行

  其实一直以来，人脸识别有4个困难

• 光线
• 角度
• 遮挡
• 表情

  如果我们不刻意难为eigenface算法，避开这些因素，这个算法的识别率能够达到90%

  我们来看一下这个算法是怎么做的。我们对n个人的n张脸，做了N次采样。

$$\text{n persons, n faces , N samples per face}$$

$$\begin{gathered} X_k(1),...,X_k(N)\in R^m \\ (k=1,2,...,n) \end{gathered}$$

  我们假设矩阵已经被向量化了，也就是拉直了

  接下来，我们要求数据的特征值了，通过SVD方法求，避免使用PCA的相关矩阵。

$$X_1=U_1{\Sigma }_1{V}_1^T,...,X_n=U_n{\Sigma }_n{V}_n^T$$

  然后我们设置一个界限l，也就是要提取几个主成分，作为feature

$$\begin{gathered} U_1=(U_1(1),....,U_1(l)) \\ ... \\ {U}_n=(U_n(1),....,U_n(l)) \end{gathered}$$

  然后这个时候来了一个新数据，我们需要知道新数据在哪

  其实也就是要计算，把新数据投影到不同的基向量上，然后得到的特征大小是多少，选择最大的那个就是了。因为U都是正交的，我们这就是在计算在不同区域的投影长度。

$$\begin{gathered} X_{new}\Rightarrow r_i=\sum _{k=1}^l|X_{new}^T{U}_i(k)| \\ {r}_{new}=argmax{r}_i \end{gathered}$$

  这个算法还有一个细节，数据在计算之前，必须要减去均值，如果不减去均值，效果会很差。这个算法在维基百科可以查到具体的例程，不过维基百科是用相关矩阵计算的

2. 整体最小二乘(TLS)与SVD

2.1 TLS思想

  TLS,Total Least Square，这种信号处理方法曾经非常火，因为最小二乘稍加改造就可以使用这种处理方法，这种处理方法比最小二乘运算量更低，并且能够得到精确解。

  先回忆一下最小二乘

$$\begin{gathered} mi{n}_{\theta }||y-Z\theta |{|}_2^2 \\ y=Z\theta +\xi \end{gathered}$$

  我们就是要调整系数θ，让误差ξ尽最小。

$$y+\hat{y}=Z\theta (LS)$$

  而整体最小二乘认为，数据本身也是有误差的

$$y+\hat{y}=(Z+\hat{Z})\theta (TLS)$$

$$Z\in R^{N\ast n}$$

  TLS要求，通过调整θ，使得误差矩阵最小。要求估计的扰动和数据的扰动都最小

$$mi{n}_{\theta }||[\hat{y},\hat{Z}]|{|}^2$$

2.2 需要解决的三个问题

2.2.1 矩阵的求模

  第一个问题，这是个矩阵求模，最小二乘求的是向量的模。矩阵求模有很多种方法，这里使用F范数的方法进行矩阵求模

$$\begin{gathered} ||A|{|}_F^2\text{ Frobenius Norm} \\ ||A|{|}_F^2=Tr(A^{T}A)=\sum _{i=1}^m\sum _{j=1}^n|A_{ij}{|}^{2}A\in R^{m\ast n} \end{gathered}$$

  F范数就是把矩阵拉直以后，算欧式模的平方

2.2.2 低秩逼近

  在这里我们要引入一个引理

  接下来，我们分析一下矩阵的秩。由于数据是N行n列，我们假设N>n,并且假设数据Z是列满秩的，那么Z的秩就是n

$$rank(Z)=n$$
  再加上一个y，矩阵的秩是多少呢?

  通常来说这个秩是n+1,因为y通常不会落入数据域的子空间，不然的话，最小二乘解就是个非常精确的结果了。也就是等价于AX=B本身就是可以解的。

$$rank[Z,y]=n+1$$

  引入了偏差之后的矩阵的秩又是多少呢?

$$rank[Z+\hat{Z},y+\hat{y}]$$

  我们来看TLS的约束

$$\begin{gathered} y+\hat{y}=(Z+\hat{Z})\theta \\ (Z+\hat{Z})\theta -(y+\hat{y})=0 \\ \left(\begin{array}{cc}Z+\hat{Z}& y+\hat{y}\end{array}\right)\ast \left(\begin{array}{c}\theta \\ -1\end{array}\right)=0 \end{gathered}$$

  相当于这个矩阵乘以一个非零值，最后得到了一个零值。说明这个矩阵一定是缺秩的，这个秩最多是n

$$rank[Z+\hat{Z},y+\hat{y}]=n$$

  这个时候就引出我们的第二个问题了。

  我们原来的矩阵是满秩的，但是加入扰动的矩阵是缺秩的，相当于我们要用缺秩的矩阵去估计满秩的矩阵。我们要从这些扰动中找到一个让F范数最小的扰动，也就是能够得到最好的估计θ

  我们怎么用低秩的矩阵做逼近呢?

$$mi{n}_{A_n}||A-A_n|{|}_F^2,s.t.rank(A_n)=n$$

  这个问题叫做低秩逼近(Low-Rank Approximation),就是在秩为n的矩阵中，找到距离我目标最近的那个。这件事已经得到了完美解决了。schmidt解决了(格拉姆施密特正交化的那个人)。但是成果被归功为了Eckart-Young身上。

  我们可以假设一个更加一般的情况，就是使用秩为k的矩阵取逼近(列)满秩矩阵

$$mi{n}_{A_k}||A-A_k|{|}_F^2,s.t.rank(A_k)=k$$

  这个定理用到了奇异值分解,我们对A做SVD

$$\begin{gathered} A=\sum _{i=1}^k{\sigma }_i{u}_i{v}_i^T \\ {A}_k=\left(\begin{array}{ccc}{u}_1& ...& u_n\end{array}\right)\ast \left(\begin{array}{ccc}{\sigma }_1& & \\ & ...& \\ & & {\sigma }_n\end{array}\right)\ast \left(\begin{array}{c}{v}_1^T\\ ...\\ v_n^T\end{array}\right) \end{gathered}$$

$${\sigma }_1>...>{\sigma }_n$$

  最优的逼近A_k就是，把A的前k项拿出来加起来。

$$\begin{gathered} A_k=\sum _{i=1}^k{\sigma }_i{u}_i{v}_i^T \\ {A}_k=\left(\begin{array}{ccc}{u}_1& ...& u_n\end{array}\right)\ast \left(\begin{array}{cccccc}{\sigma }_1& & & & & \\ & ...& & & & \\ & & {\sigma }_k& & & \\ & & & 0& & \\ & & & & ...& \\ & & & & & 0\end{array}\right)\ast \left(\begin{array}{c}{v}_1^T\\ ...\\ v_n^T\end{array}\right) \end{gathered}$$

2.2.3 TLS问题

  解决了前面两个问题之后，才能开始解决TLS问题

  我们要解决的问题就是，如果利用缺秩的加了扰动的矩阵去逼近原矩阵

$$[Z+\hat{Z},y+\hat{y}]\Rightarrow [Z,y]$$

  我们先写出原来矩阵的SVD

$$[Z,y]=\left(\begin{array}{cc}{U}_Z& U_y\end{array}\right)\ast \left(\begin{array}{cc}{\Sigma }_Z& \\ & {\sigma }_y\end{array}\right)\ast \left(\begin{array}{cc}{V}_{ZZ}& V_{Zy}\\ V_{yZ}^T& V_{yy}\end{array}\right)$$

  变形,同时利用V是正交矩阵的特性。其中V_yy是个数

$$\begin{gathered} [Z,y]\ast {\left(\begin{array}{cc}{V}_{ZZ}& V_{Zy}\\ V_{yZ}^T& V_{yy}\end{array}\right)}^T=\left(\begin{array}{cc}{U}_Z& U_y\end{array}\right)\ast \left(\begin{array}{cc}{\Sigma }_Z& \\ & {\sigma }_y\end{array}\right) \\ [Z,y]\ast \left(\begin{array}{cc}{V}_{ZZ}^T& V_{yZ}\\ V_{Zy}^T& V_{yy}\end{array}\right)=\left(\begin{array}{cc}{U}_Z& U_y\end{array}\right)\ast \left(\begin{array}{cc}{\Sigma }_Z& \\ & {\sigma }_y\end{array}\right) \\ \Rightarrow [Z,y]\ast \left(\begin{array}{cc}{V}_{ZZ}^T& V_{yZ}\\ V_{Zy}^T& V_{yy}\end{array}\right)=\left(\begin{array}{cc}{U}_Z\ast {\Sigma }_Z& U_y\ast {\sigma }_y\end{array}\right) \\ \Rightarrow ([Z,y]\ast \left(\begin{array}{c}{V}_{ZZ}^T\\ V_{Zy}^T\end{array}\right),[Z,y]\ast \left(\begin{array}{c}{V}_{yZ}\\ V_{yy}\end{array}\right))=\left(\begin{array}{cc}{U}_Z\ast {\Sigma }_Z& U_y\ast {\sigma }_y\end{array}\right) \end{gathered}$$

  我们可以求出如下的式子

$$U_y\ast {\sigma }_y=[Z,y]\ast \left(\begin{array}{c}{V}_{yZ}\\ V_{yy}\end{array}\right)(i)$$

  我们用带有扰动的矩阵进行逼近

$$[Z+{\hat{Z}}_{opt},y+{\hat{y}}_{opt}]=\left(\begin{array}{cc}{U}_Z& U_y\end{array}\right)\ast \left(\begin{array}{cc}{\Sigma }_Z& \\ & 0\end{array}\right)\ast \left(\begin{array}{cc}{V}_{ZZ}& V_{Zy}\\ V_{yZ}^T& V_{yy}\end{array}\right)$$

  我们可以通过做减法的方式得到最优逼近

$$\begin{gathered} [{\hat{Z}}_{opt},{\hat{y}}_{opt}]=[Z+{\hat{Z}}_{opt},y+{\hat{y}}_{opt}]-[Z,y] \\ =\left(\begin{array}{cc}{U}_Z& U_y\end{array}\right)\ast \left(\begin{array}{cc}0& \\ & -{\sigma }_y\end{array}\right)\ast \left(\begin{array}{cc}{V}_{ZZ}& V_{Zy}\\ V_{yZ}^T& V_{yy}\end{array}\right) \\ =\left(\begin{array}{cc}0& -{\sigma }_y{U}_y\end{array}\right)\ast \left(\begin{array}{cc}{V}_{ZZ}& V_{Zy}\\ V_{yZ}^T& V_{yy}\end{array}\right) \\ =-{\sigma }_y{U}_y\ast \left(\begin{array}{cc}{V}_{yZ}^T& V_{yy}\end{array}\right)(ii) \end{gathered}$$

  我们重新回去等式，并把(i)和(ii)代入

$$\begin{gathered} [Z+{\hat{Z}}_{opt},y+{\hat{y}}_{opt}]=[Z,y]+[{\hat{Z}}_{opt},{\hat{y}}_{opt}] \\ =[Z,y]-{\sigma }_y{U}_y\ast \left(\begin{array}{cc}{V}_{yZ}^T& V_{yy}\end{array}\right) \\ =[Z,y]-[Z,y]\ast \left(\begin{array}{c}{V}_{yZ}\\ V_{yy}\end{array}\right)\ast \left(\begin{array}{cc}{V}_{yZ}^T& V_{yy}\end{array}\right)(iii) \end{gathered}$$

  我们可以看出来,下面这个矢量是V^T的最后一行,因此一定是一个标准化过的基向量，模为1

$$\left(\begin{array}{cc}{V}_{yZ}^T& V_{yy}\end{array}\right)$$

  我们给(iii)式子左右乘一个式子，得到下面的式子

$$[Z+{\hat{Z}}_{opt},y+{\hat{y}}_{opt}]\ast \left(\begin{array}{c}{V}_{yZ}\\ V_{yy}\end{array}\right)=[Z,y]\ast \left(\begin{array}{c}{V}_{yZ}\\ V_{yy}\end{array}\right)-[Z,y]\ast \left(\begin{array}{c}{V}_{yZ}\\ V_{yy}\end{array}\right)=0(iv)$$

  对比一下约束条件

$$\left(\begin{array}{cc}Z+\hat{Z}& y+\hat{y}\end{array}\right)\ast \left(\begin{array}{c}\theta \\ -1\end{array}\right)=0$$

  只要给(iv)式凑个数就行，也就是式子两边乘以V_yy的逆加负号即可

$$\begin{gathered} [Z+{\hat{Z}}_{opt},y+{\hat{y}}_{opt}]\ast \left(\begin{array}{c}{V}_{yZ}\\ V_{yy}\end{array}\right)=0 \\ [Z+{\hat{Z}}_{opt},y+{\hat{y}}_{opt}]\ast \left(\begin{array}{c}-V_{yZ}\ast V_{yy}^{-1}\\ -1\end{array}\right)=0 \end{gathered}$$

  因此我们可以得到TLS的最优估计结果

$$\theta =-V_{yZ}\ast V_{yy}^{-1}$$

2.3 TLS小结

  整体最小二乘有精确解。而且仅仅用到了最小的奇异值对应的右奇异矢量。解答更加简单。最小二乘通过伪逆的话，也有精确解，但是比这个麻烦。整体最小二乘重度依赖奇异值分解。

  其实我们的数据都是可以假定的有噪声的，就把最小二乘转换为整体最小二乘求解即可。

  整体最小二乘可以作为熟悉奇异值分解的一个很好的例子