矩阵论——奇异值分解

闲话

没点关系的闲话

经过了一段时间的自学，终于达到了“能听懂老师讲课”的层次，受到老师启发，想着记录一下自己对老师课程的感悟，所以写一下。

有点关系的闲话

很久以前，大概学线性代数的时候吧，有一个问题困扰着我——矩阵是啥？
现在留下的记忆就是表征信息的列表，所以说矩阵是什么都行。但是这不算回答了这个问题，因为对于我不背定理的学生而言，除非拿出图像或者工程应用来佐证某个定理描述的内容，基本上是学完就忘的（因为不知道学这东西有什么用处，也对其没有把握）。其实在课上，老师就工程方面讲了不少例子，但奈何自己才疏学浅，还是没能理解老师的意思，所以对于矩阵，还是迷迷糊糊的

正题

首先，还是说点题外话，对于矩阵分解而言，我自己说不出有什么工程用途，就算是结合数值分析的学习，我对于矩阵分解的认识也就是迭代解方程组的用途，老师上课的时候举了几个例子但是我也没有学过控制理论，所以，只是一听。

正交对角分解

假设一个矩阵A，这个矩阵比较特殊，是个实对称阵就是可以正交相似于对角阵公式表示为Q^TAQ=$diag$(${\lambda }_1$,${\lambda }_2$~,……,${\lambda }_n$)λ是A的特征值，而Q是个标准正交阵（列向量模长为1，且相互正交，数学表示为Q^-1=Q^T

所以，两边左乘Q右乘Q^T 就有 $A=Qdiag({\lambda }_i)Q^T$
这样A就可以写成A =${\sum }_{i=1}^n{\lambda }_i{q}_i{q}_i^T$ 注：其中$q$为${\lambda }_n$的特征向量以三阶为例
$$A=\sum _{i=1}^3{\lambda }_i\left[\begin{array}{c}{a}_1\\ a_2\\ a_3\end{array}\right]\times \left[\begin{array}{ccc}{a}_1& a_2& a_3\end{array}\right]={\lambda }_i\times \sum _{i=1}^3\left[\begin{array}{ccc}{b}_1& b_2& b_3\\ b_4& b_5& b_6\\ b_7& b_8& b_9\end{array}\right]$$
以上就是所谓的特征值分解，数学上已经讲完了，于是，出于一个感性的认识，这样做为什么？有什么用？
老师给出的解释是，$A$被分解成了$n$个分量而用$E_{ij}$除了第i行第j列的元素为1外，其他均为0进行拆分表示的时候是有$n\times n$个分量，表达效率成倍提升。
老师还提供了个例子——当双方都知道基的话，传递特征值就能完成情报的交换（所谓的无损压缩）

由特征值分解到奇异值分解

可以进行特征值分解的矩阵是极为特殊的，也就是 实对称（或者厄米矩阵共轭对称的方阵） 这在实际工程中基本上是不存在的，条件限制的太苛刻了，所以，进行条件的放宽，人们仿造特征值分解的样子，假设$A_{m\times n}=UD{V}^T$ $U$ $D$ $V^T$分别具有不同的形态$U是m\times m阶V是n\times n阶$而$D$是分块对角的，下式中的${\Sigma }_r$就是一个对角矩阵
$$\begin{gathered} D=\left[\begin{array}{cc}{\Sigma }_r& 0\\ 0& 0\end{array}\right] \\ \Sigma =diag(o_i) \\ {o}_i=\sqrt{{\lambda }_i}其中{\lambda }_i为A^{T}A的特征值 \\ 且{\lambda }_1\ge {\lambda }_2\ge {\lambda }_3\ge \dots \ge {\lambda }_i\ge 0 \end{gathered}$$
注当$A\in C_r^{m\times n}(复数域)时依旧成立$可以推广
$$\begin{gathered} (A{A}^T{)}_{m\times m}=(UD{V}^T)(UD{V}^T{)}^T \\ =UD{V}^{T}V{D}^T{U}^T \\ =U(D{D}^T{)}_{m\times m}{U}^T \\ =U_{m\times m}{\left[\begin{array}{cc}{\Sigma }_r^2& 0\\ 0& 0\end{array}\right]}_{m\times m}{U}_{m\times m}^T \end{gathered}$$
由于$D$是一个分块对角的矩阵，所以$D{D}^T$可以写做上式，同时也佐证了$A{A}^T$与$D{D}^T$是正交相似（合同）的。

对于U而言

将$U$拆分成$[u_1,u_2\dots u_m]$左$$\begin{gathered} \times A{A}^T \\ A{A}^{T}U=(UD{D}^T{U}^T)U=\left[\begin{array}{cc}{\Sigma }_r^2& 0\\ 0& 0\end{array}\right][u_1,u_2\dots u_m]=[{\lambda }_i{u}_i{]}_m \end{gathered}$$
所以$U$的列向量是$A{A}^T$的特征向量

对于V而言

仅需要改变成$A^{T}A$即可得到$n\times n$的矩阵，便可对$V矩阵进行求证与计算$

总结

于是问题来了，这个奇异值分解有什么用？先看一个比较有意思的现象$A_{m\times n}$
$A{A}^T$与$A^{T}A$前者维度为$m\times m$后者维度为$n\times n$那么这两个矩阵有什么联系呢？答案是显而易见的，两者相似对角化（这里说的有点不准确，应该是化成上面的${\Sigma }^2$块是一样的，区别在于两者0特征值的个数不同，带来的维度不同。）
至于说工程上有什么具体的应用，我觉得应该是信息的压缩吧，将$n-m$维不必要的部分压缩掉。

题外话

希望有大佬能带带我，嘤嘤嘤。