SVD应用

线性方程组的解

$$A_{m*n}x=b$$
（1）如果n>m，那么未知数的个数大于方程数。解不唯一而且有一个解矢量空间
（2）如果m=n，那么只要A可逆便有唯一解
（3）如果m>n，那么方程数个数大于未知数。方程一般无解，除非b是A的列的线性组合

最小二乘解

• 满秩：m>=n，且A的秩是n。寻找一个向量$x$使得$||Ax-b||$最小
  

  $$||Ax-b||=||UDV^Tx-b||=||DV^Tx-U^Tb||=||Dy-b'||$$
  $$\begin{bmatrix} d_1 & & & \\ & d_2 & & \\ & & \ddots&\\ &&&d_n\\ \hline 0&0&0&0\\ \vdots&\vdots&\vdots&\vdots\\ 0&0&0&0 \end{bmatrix}\begin{bmatrix}y_1\\y_2\\ \vdots\\y_n\end{bmatrix}= \begin{bmatrix}b'_1\\b'_2\\ \vdots\\b'_n \\\hline b'_{n+1} \\ \vdots\\b'_m\end{bmatrix}$$
  显然，最小二乘解为：$y_i=b'_i/d_i$，$x=Vy$

• 降秩方程组：$rank(A)<n$
  最小二乘解为：$d_i \ne0$，$y_i=b'_i/d_i$。否则，$y_i=0$。通解是$x=Vy+\lambda_{r+1} v_{r+1}+ \cdots+\lambda_nv_n$。（$y_{i>r}$不重要，$d_iy_i$都是0，$Vy是最小范数解$）

伪逆

$$D_{ii}=\begin{cases} 0, & \text{if $D_{ii}=0$} \\ D_{ii}^{-1}, & \text{else} \end{cases}$$
$$A^+=VD^+U^T$$

$U是m*n，D是n*n，V是n*n$
- 秩为n的m×n方程组 $Ax=b$的最小二乘解由 $x=A^+b$给出。在降秩方程组情形， $x=A^+b$是使得||x||最小化的解，即最小范数解

• 用正规方程解线性最小二乘
  求最小化范数$||Ax-b||$的向量$x$。任务是在A的列空间中寻找最接近b的那个矢量。问题解x满足，差$Ax-b$与A的列空间垂直（可以对基进行单位正交化加以证明）。因此， $$A^T(Ax-b)=0$$ $$(A^TA)x=A^Tb$$
  因为$A^Tb$在$A^TA$的列空间中，所以$x$有解
  

  $A^TA$的列空间 $A^TAx \in A^Tx$。又$rank(A)=rank(A^TA)$，所以 $A^TA$的列空间等于 $A^T$的列空间

证明： $$(Ax-b+Ax', Ax-b+Ax')=(Ax-b, Ax-b)+(Ax', Ax')>=(Ax-b, Ax-b)$$
- 如果m×n矩阵A的秩为n，那么 $A^+=(A^TA)^{-1}A^T$

• 加权线性最小二乘问题：$(A^TCA)x=A^TCb$

齐次方程组的最小二乘解

• 求使$||Ax||最小化并满足||x||=1的x$:
  $$||UDV^Tx||=||DV^Tx||=||Dy||$$
  在条件$||y||=1$下，最小化$||Dy||$。因为D是降序排列的一个对角矩阵，所以，$y=(0,\cdots,0,1)$肯定是一个解。$x=Vy$就是V的最后一列。

其他问题

• 求x，它最小化||Ax||并满足||x||=1和Cx=0

• 在条件||x||=1和x=Gx’下最下化||Ax||

• 在条件||Cx||=1下最小化||Ax||