MIT 18.06 linear algebra 第三十讲笔记

MIT 18.06 linear algebra 第三十讲笔记

---

• Singular value Decomposition $\Rightarrow SVD$
• $A=U\Sigma V^T$ $\Sigma$ is diagonal U,V is Orthogonal

---

对称的正定矩阵$A$，可以被写为$A=QSQ^{T}$。正定矩阵的这种分解其实就是$SVD$分解的一种特例。而$SVD$分解并不需要$U$和$V$相等。

在上图中在行空间中选择一个单位向量$v_1$，然后在列空间中使得存在单位向量$u_1$满足$\sigma_1u_1=Av_1$。其中的$\sigma_1$是一个数字，表示他们之间的数量关系。在找一个与$v_1$正交的单位向量$v_2$，然后使得在列空间中存在一个与$u_1$正交的单位向量$u_2$满足$\sigma_2u_2=Au_2$。通过史密斯正交法就可以找到一组标准正交的单位向量。

用矩阵表示也就是：
$A\begin{bmatrix}v_1&v_2&\cdots&v_r&v_{r+1}&v_n\end{bmatrix}=$

$\begin{bmatrix}u_1&u_2&\cdots&u_r&u_{r+1}&u_m\end{bmatrix}\begin{bmatrix}\sigma_1\\&\sigma_2\\&&\ddots\\&&&\sigma_r\\&&&&0\\&&&&&&\ddots\\&&&&&&&0\end{bmatrix}=$
$AV=U\Sigma$
需要对上面的矩阵做一下说明，其中$v_1,v_2,\cdots，v_r$是矩阵$A$行空间的一组标准正交基。如果矩阵$A$不是列满秩的话，需要增加矩阵$A$零空间的一组标准正交基。同理$u_1,u_2,\cdots,u_r$是列空间的一组标准正交基，如果矩阵$A$不是行满秩的话，需要用$A^T$的零空间中的一组标准正交基来填充。其中$v_{r+1},\cdots,v_n$是$N(A)$的一组标准正交基，$u_{r+1},\cdots,u_m$是$N(A^T)$的一组标准正交基思考一下就会知道，如果存在零空间了，那么就需要找出零空间的一组标准正交基，那么$Av_i$就会得到零，那么零就会出现在对角阵$\Sigma$的末尾。
求解时，$A=U\Sigma V^{-1}=U\Sigma V^T$,那么$A^TA=V\Sigma^TU^TU\Sigma V=$
$V\begin{bmatrix}\sigma_1^2\\&\sigma_2^2\\&&\ddots\\&&&\sigma_r^2\\&&&&0\\&&&&&&\ddots\\&&&&&&&0\end{bmatrix}V^T$。

看到这里是否会突然联想到$A^TA=Q\Lambda Q^T$。对于$A^TA$对应的是正定或者至少半正定矩阵。$A^TA$可以应对长方形矩阵。

---

例子
$A=\begin{bmatrix}4&4\\-3&3\end{bmatrix}$，可以看出这个矩阵是可逆的，因此设行空间的标准正交基为$v_1,v_2$,$u_1,u_2$为列空间的标准正交基。满足$Av_1=\sigma_1u_1$和$Av_2=\sigma_2u_2$。

$A^TA=\begin{bmatrix}25&7\\7&25\end{bmatrix}$,因此解出特征值为32和18，特征向量分别为$\begin{bmatrix}\frac{1}{\sqrt{2}}\\\frac{1}{\sqrt{2}}\end{bmatrix}$和$\begin{bmatrix}\frac{1}{\sqrt{2}}\\\frac{-1}{\sqrt{2}}\end{bmatrix}$,由于求出了矩阵$V$相应的矩阵$U$其实也就确定了，不能随便选取。$u_1=\begin{bmatrix}1\\0\end{bmatrix}$,$u_2=\begin{bmatrix}0\\-1\end{bmatrix}$,可以代进去算一下，是正确的$A=U\Sigma V^T$。

我们可以通过$AA^T$的方法来计算$U$,$AA^T=U\Sigma V^TV\Sigma^TU^T=U\Sigma^2U^T$。
$AA^T$与$A^TA$的特征值是相同的，假设$A^TAx=\lambda x$，有$AA^TAx=\lambda Ax$。

---

例子2

矩阵$A=\begin{bmatrix}4&3\\8&6\end{bmatrix}$,此时行空间与列空间只是一维的因此需要添加零空间的正交基来补全。

此时对角阵就会出现用零填充的情况。按照上面的逻辑计算即可。