特征值与特征向量、特征方程、特征多项式、矩阵相似、相似变换、矩阵对角化、奇异值分解（Singular Value Decomposition）手算加MATLAB

特征值（Eigenvalue）与特征向量（Eigenvector）

  定义：若$A$为$n\times n$的矩阵，$x$为非零向量，若存在数$\lambda$使得$Ax=\lambda x$有非平凡解$x$，则称$\lambda$为$A$的特征值，$x$则为对应于$\lambda$的特征向量。

例1：设$A=\left[\begin{array}{cc}1& 6\\ 5& 2\end{array}\right]$，$u=\left[\begin{array}{c}6\\ -5\end{array}\right]$，$v=\left[\begin{array}{c}3\\ -2\end{array}\right]$，判断$u$和$v$是不是矩阵$A$的特征向量。

解：

$Au=\left[\begin{array}{cc}1& 6\\ 5& 2\end{array}\right]\left[\begin{array}{c}6\\ -5\end{array}\right]=\left[\begin{array}{c}-24\\ 20\end{array}\right]=-4\times \left[\begin{array}{c}6\\ -5\end{array}\right]=-4u$

所以，向量$u$是特征值$\lambda =4$对应的特征向量。

$Av=\left[\begin{array}{cc}1& 6\\ 5& 2\end{array}\right]\left[\begin{array}{c}3\\ -2\end{array}\right]=\left[\begin{array}{c}-9\\ 11\end{array}\right]\ne \lambda \left[\begin{array}{c}3\\ -2\end{array}\right]$

所以，$Av$不是向量$v$的倍数，即向量$v$不是矩阵向量$A$的特征向量。

例2：请证明7是矩阵$A=\left[\begin{array}{cc}1& 6\\ 5& 2\end{array}\right]$的特征值，并求特征值7对应的特征向量。

解：
根据定义，存在数$\lambda$使得$Ax=\lambda x$有非平凡解$x$，当方程$Ax=7x$有非平凡解时，$\lambda =7$才能是矩阵$A$的特征值。即：

$Ax-7x=0$

$(A-7I)x=0$

此方程为齐次方程，先计算其系数矩阵$A-7I$：

$A-7I=\left[\begin{array}{cc}1& 6\\ 5& 2\end{array}\right]-\left[\begin{array}{cc}7& 0\\ 0& 7\end{array}\right]=\left[\begin{array}{cc}-6& 6\\ 5& -5\end{array}\right]$

显然，$A-7I$的列向量$\left[\begin{array}{c}-6\\ 5\end{array}\right]$和$\left[\begin{array}{c}6\\ -5\end{array}\right]$因为满足：

$1\times \left[\begin{array}{c}-6\\ 5\end{array}\right]+1\times \left[\begin{array}{c}6\\ -5\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]$

所以此二列向量是线性相关的（当然，也可以看出此二列向量是-1倍数的关系，所以可以说明它们是线性相关的），所以方程$(A-7I)x=0$有非平凡解（即向量$x$的元素不全为0的解），所以满足上述定义，所以7为矩阵$A$的特征值。

容易解得上述方程组的解为：满足$x_1=x_2$的所有向量$x=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$，如$\left[\begin{array}{c}1\\ 1\end{array}\right]$，$\left[\begin{array}{c}2\\ 2\end{array}\right]$等，这些向量（零向量除外）都是$\lambda =7$对应的特征向量。

当然，矩阵$A=\left[\begin{array}{cc}1& 6\\ 5& 2\end{array}\right]$的特征值并不只有7一个，对于所有满足$Ax=\lambda x$，即$(A-\lambda I)x=0$有非平凡解，的$\lambda$都可以算矩阵$A$的特征值。

特征空间：由零向量和所有对应于特征值$\lambda$的特征向量构成。特征空间即$(A-\lambda I)x=0$所有解得集合，也称为$A-\lambda I$的零空间。

特征方程(Characteristic Equation)

例1：求矩阵$A=\left[\begin{array}{cc}1& 6\\ 5& 2\end{array}\right]$的特征值。

解：

要求出所有使得$(A-\lambda I)x=0$有非平凡解的$\lambda$的值。此问题等价于求出所有使得$A-\lambda I$矩阵为不可逆矩阵：
$A-\lambda I=\left[\begin{array}{cc}1-\lambda & 6\\ 5& 2-\lambda \end{array}\right]$

$det(A-\lambda I)=(1-\lambda )(2-\lambda )-30={\lambda }^2-3\lambda -28=(\lambda -7)(\lambda +4)=0$

所以$\lambda =7$或$\lambda =-4$为矩阵$A$的特征值。

总结：
  本例中，$det(A-\lambda I)=0$就是矩阵$A$的特征方程，用特征方程可以判断矩阵$det(A-\lambda I)$是否可逆（矩阵的行列式值若为0，则不可逆；如果一个矩阵可逆，则其行列式值不等于零）。

  数$\lambda$是矩阵$A$的特征值的充要条件是：$\lambda$是矩阵$A$的特征方程$det(A-\lambda I)=0$的根。

  对于n阶的矩阵，同样可以用此方法求特征值。

特征多项式（Characteristic Polynomial）

  $det(A-\lambda I)=0$是矩阵$A$的特征方程，其化简出来是一个特征多项式。
例：求矩阵$A=\left[\begin{array}{cccc}5& -2& 6& -1\\ 0& 3& -8& 0\\ 0& 0& 5& 4\\ 0& 0& 0& 1\end{array}\right]$的特征方程和特征多项式。

解：

$det(A-\lambda I)=det\left[\begin{array}{cccc}5-\lambda & -2& 6& -1\\ 0& 3-\lambda & -8& 0\\ 0& 0& 5-\lambda & 4\\ 0& 0& 0& 1-\lambda \end{array}\right]=(5-\lambda )(3-\lambda )(5-\lambda )(1-\lambda )=(5-\lambda {)}^2(3-\lambda )(1-\lambda )={\lambda }^4-14{\lambda }^3+68{\lambda }^2-130\lambda +75=0$

所以，矩阵$A$的特征方程为：

$(5-\lambda {)}^2(3-\lambda )(1-\lambda )=0$，或：

${\lambda }^4-14{\lambda }^3+68{\lambda }^2-130\lambda +75=0$

而后者（${\lambda }^4-14{\lambda }^3+68{\lambda }^2-130\lambda +75=0$）又称为矩阵$A$的特征多项式。

注：本例中，因子$(\lambda -5)$出现了2次，所以称特征值5有重数2，而其他的特征值3、1的重数为1。

使用MATLAB求矩阵特征值

例：对于上面的例题，求矩阵$A=\left[\begin{array}{cc}1& 6\\ 5& 2\end{array}\right]$特征值，使用eig(A)函数即可：

A =
     1     6
     5     2
>> eig(A)
ans =
    -4
     7

用MATLAB求出矩阵$A$特征值为-4和7，与上面手算的一致。

矩阵相似、相似变换

  矩阵相似定义：如果$A$和$B$是$n\times n$矩阵，若存在可逆矩阵$P$使得$P^{-1}AP=B$，或等价地$A=PB{P}^{-1}$，那么可说$A$相似于$B$。令$Q=P^{-1}$，则有$Q^{-1}BQ=A$，即$B$也相似于$A$，所以两个方向都成立，这样我们可以简单地说$A$和$B$相似就行。

  相似变换：把矩阵$A$变成$P^{-1}AP$（即$P^{-1}AP=B$）的变换称为相似变换。

  矩阵相似定理：如果$n\times n$的矩阵$A$是相似的，那么它们具有相同的特征多项式，因此也具有相同的特征值和相同的重数。

使用QR分解的方法求特征值（数值方法）

  对于大多数矩阵来说，计算特征值是困难的，因为特征方程的零点用数值方法（如牛顿法）计算有困难，其计算的速度和精度难以保障。
  所以，如果需要使用数值方法求矩阵特征值，就要换用其他方法。由矩阵相似定理可知，如果任何与矩阵$A$相似的矩阵，都与矩阵$A$有相同的特征值。
  计算方法如下：先找到一系列可以收敛于一个上三角矩阵的且与矩阵$A$相似的矩阵（使用QR分解的方法，求出这一系列矩阵），如果可以找到这样的矩阵，那么这一系列矩阵收敛的极限矩阵（三角矩阵）的对角线元素就是矩阵$A$的特征值。

  （注：此处用到三角矩阵的一个性质：三角矩阵的主对角线元素就是其特征值。例如，矩阵$A=\left[\begin{array}{ccc}4& 7& 5\\ 0& 0& 2\\ 0& 0& 1\end{array}\right]$的特征值是4、0和1；矩阵$B=\left[\begin{array}{ccc}3& 0& 0\\ 2& 1& 0\\ 6& 2& 4\end{array}\right]$的特征值是3、1和4。）

  该方法的好处：对大多数矩阵，使用QR分解的方法（在这种求特征值的方法中，QR分解可以求出与原矩阵相似的且正交的矩阵，由于这些矩阵是相似且正交的，所以可以减少特征值求解过程的舍入误差），都能找到这样的收敛的一系列矩阵，且因为QR分解的数值计算法速度和精度都较好，所以用此方法计算的特征值，其计算速度和精度也较好。
  实际计算中，极线矩阵往往会是分块上三角矩阵（block upper triangular matrix），对其求特征值是可行的。

  上述方法总结为：设矩阵$A$为$n\times n$的方阵，将$A$进行QR分解得：$A=Q_0{R}_0$，然后构造$A_1=R_0{Q}_0$；然后对新构造的矩阵$A_1$进行QR分解得：$A_1=Q_1{R}_1$，再用$A_1$的QR分解矩阵构造$A_2$得：$A_2=R_1{Q}_1$，如此类推，直到生成矩阵$A_n$，且它的QR分解为：$A_n=Q_n{R}_n$，然后这个矩阵$A_n$的对角线下面的元素充分小或者出现明显不收敛时就停下。

在这个方法中，可以证明的推论（证明过程略）：

1. $A=Q_0{A}_1{Q}_0^T$
2. $A=(Q_0{Q}_1)A_2(Q_0{Q}_1{)}^T$
3. $Q_0{Q}_1$是正交矩阵
4. 矩阵$A$、$A_1$和$A_2$直到$A_m$具有相同的特征值

矩阵对角化（Diagonalization）

  背景：如果一个$n\times n$的方阵$A$可以被分解为$A=PD{P}^{-1}$（其中$D$为对角矩阵（diagonal matrix），即除了对角线元素外（当然，主对角线上的元素也是可以为0的），其他元素都为0的矩阵），这样分解可以显示更多得关于矩阵$A$的特征值和特征向量的信息，也可以利用此分解式快速求解$A^k$（$k$较大时也能快速求出）。

例1：设对角阵$D=\left[\begin{array}{cc}5& 0\\ 0& 3\end{array}\right]$，

则$D^2=\left[\begin{array}{cc}5& 0\\ 0& 3\end{array}\right]\left[\begin{array}{cc}5& 0\\ 0& 3\end{array}\right]=\left[\begin{array}{cc}{5}^2& 0\\ 0& 3^2\end{array}\right]$

$D^3=D{D}^2=\left[\begin{array}{cc}5& 0\\ 0& 3\end{array}\right]\left[\begin{array}{cc}{5}^2& 0\\ 0& 3^2\end{array}\right]=\left[\begin{array}{cc}{5}^3& 0\\ 0& 3^3\end{array}\right]$

所以，可以总结出，对于$k\ge 1，D^k=\left[\begin{array}{cc}{5}^k& 0\\ 0& 3^k\end{array}\right]$

总结：从本例可看出，对角阵的幂很容易计算。

例2：设矩阵$A=\left[\begin{array}{cc}7& 2\\ -4& 1\end{array}\right]$，给定$A=PD{P}^{-1}$，其中$P=\left[\begin{array}{cc}1& 1\\ -1& -2\end{array}\right]$，$D=\left[\begin{array}{cc}5& 0\\ 0& 3\end{array}\right]$，求$A^k$。

解：

先求矩阵$P$的逆$P^{-1}=\left[\begin{array}{cc}2& 1\\ -1& -1\end{array}\right]$

结合矩阵乘法：$A^2=(PD{P}^{-1})(PD{P}^{-1})=PD(P^{-1}P)D{P}^{-1}=PDD{P}^{-1}=P{D}^2{P}^{-1}$，

同理有：$A^3=A{A}^2=(PD{P}^{-1})A^2=(PD{P}^{-1})(P{D}^2{P}^{-1})=PD(P^{-1}P)D^2{P}^{-1}=P{D}^3{P}^{-1}$，

所以，一般地，对于$k\ge 1，A^k=P{D}^k{P}^{-1}=\left[\begin{array}{cc}1& 1\\ -1& -2\end{array}\right]\left[\begin{array}{cc}{5}^k& 0\\ 0& 3^k\end{array}\right]\left[\begin{array}{cc}2& 1\\ -1& -1\end{array}\right]=\left[\begin{array}{cc}2\cdot 5^k-3^k& 5^k-3^k\\ 2\cdot 3^k-2\cdot 5^k& 2\cdot 3^k-5^k\end{array}\right]$

  总结：根据相似定理，如果方阵$A$相似于对角矩阵$D$，则有$A=PD{P}^{-1}$，那么此时可以称矩阵$A$可对角化。

对角化定理

  对角化定理：$n\times n$的方阵$A$可对角化（即$A=PD{P}^{-1}$，且$D$为对角阵）的充要条件是：方阵$A$有$n$个线性无关的特征向量，也可以说是矩阵$P$的列向量是$A$的$n$个线性无关特征向量。此时，$D$的主对角线上的元素分别是$A$的对应于$P$中的特征向量的特征值。

例1：判断矩阵是否可以对角化，如果可以，对角化之：$A=\left[\begin{array}{ccc}1& 3& 3\\ -3& -5& -3\\ 3& 3& 1\end{array}\right]$。

解：

先求矩阵$A$的特征值：

$0=det(A-\lambda I)=-{\lambda }^3-3\lambda +4=-(\lambda -1)(\lambda +2{)}^2$

所以，矩阵$A$的特征值为$\lambda =1$和$\lambda =-2$。
当矩阵阶数大于$2\times 2$时，可以用MATLAB求特征值：

A =
     1     3     3
    -3    -5    -3
     3     3     1
>> eig(A)
ans =
     1.000000000000000e+00
    -2.000000000000000e+00
    -1.999999999999998e+00

用MATLAB求出来，可见$\lambda \approx -2$有两个，这是符合上面因式分解的结果的（$\lambda =-2$的重数为2），$\lambda =1$是另一个特征值。

再求矩阵$A$的3个线性无关的特征向量：
因为矩阵$A$是$3\times 3$的矩阵，由对角化定理可知，需要找到3个线性无关的特征向量，如果找不到，那么$A$就不能对角化：

求特征值$\lambda =1$对应的基：
化简方程$(A-\lambda I)x=(A-1I)x=0$对应的增广矩阵：
$[A-\lambda I0]=\left[\begin{array}{cccc}1-\lambda & 3& 3& 0\\ -3& -5-\lambda & -3& 0\\ 3& 3& 1-\lambda & 0\end{array}\right]=\left[\begin{array}{cccc}0& 3& 3& 0\\ -3& -6& -3& 0\\ 3& 3& 0& 0\end{array}\right]\to \left[\begin{array}{cccc}1& 0& -1& 0\\ 0& 1& 1& 0\\ 0& 0& 0& 0\end{array}\right]$

通解为：$x=\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=x_3\left[\begin{array}{c}1\\ -1\\ 1\end{array}\right]$
所以特征值$\lambda =1$对应的基为：$v_1=\left[\begin{array}{c}1\\ -1\\ 1\end{array}\right]$

求特征值$\lambda =-2$对应的基：
化简方程$(A-\lambda I)x=(A+2I)x=0$对应的增广矩阵：
$[A-\lambda I0]=\left[\begin{array}{cccc}1-\lambda & 3& 3& 0\\ -3& -5-\lambda & -3& 0\\ 3& 3& 1-\lambda & 0\end{array}\right]=\left[\begin{array}{cccc}3& 3& 3& 0\\ -3& -3& -3& 0\\ 3& 3& 3& 0\end{array}\right]\to \left[\begin{array}{cccc}1& 1& 1& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\end{array}\right]$

通解为：$x=\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=x_2\left[\begin{array}{c}-1\\ 1\\ 0\end{array}\right]+x_3\left[\begin{array}{c}-1\\ 0\\ 1\end{array}\right]$

所以特征值$\lambda =-2$对应的基为：

$v_2=\left[\begin{array}{c}-1\\ 1\\ 0\end{array}\right]$和$v_3=\left[\begin{array}{c}-1\\ 0\\ 1\end{array}\right]$

容易验证$v_1$和$v_2$和$v_3$是线性无关的。

使用上面求得的3个线性无关的特征向量构造矩阵$P=[v_1{v}_2{v}_3]$，$v_1$、$v_2$和$v_3$的顺序可以随意排列。

$P=[v_1{v}_2{v}_3]=\left[\begin{array}{ccc}1& -1& -1\\ -1& 1& 0\\ 1& 0& 1\end{array}\right]$

再构造矩阵$D$，把矩阵$A$的特征值放在矩阵$D$的主对角线上，注意特征值的次序要和上面构造$P$时使用的特征向量的次序对应一致（例如，上面特征值1对应的特征向量$v_1$是排在第一列的，所以特征值1要放在$D$的第一列的主对角线元素上）：
$D=\left[\begin{array}{ccc}1& 0& 0\\ 0& -2& 0\\ 0& 0& -2\end{array}\right]$

构造出$D$和$P$后，进行验算，看是否满足$A=PD{P}^{-1}$，这个式子可以变形为$AP=PD$，先判断矩阵$P$是否可逆：
求矩阵$P$的秩（rank）：

P =

     1    -1    -1
    -1     1     0
     1     0     1

>> rank(P)

ans =

     3

矩阵$P$的秩（rank）为3，和其阶数一致，所以矩阵$P$是可逆的。

$AP=\left[\begin{array}{ccc}1& 3& 3\\ -3& -5& -3\\ 3& 3& 1\end{array}\right]\left[\begin{array}{ccc}1& -1& -1\\ -1& 1& 0\\ 1& 0& 1\end{array}\right]=\left[\begin{array}{ccc}1& 2& 2\\ -1& -2& 0\\ 1& 0& -2\end{array}\right]$

$PD=\left[\begin{array}{ccc}1& -1& -1\\ -1& 1& 0\\ 1& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& -2& 0\\ 0& 0& -2\end{array}\right]=\left[\begin{array}{ccc}1& 2& 2\\ -1& -2& 0\\ 1& 0& -2\end{array}\right]$

可见$AP=PD$成立且$P$可逆，即$A=PD{P}^{-1}$成立，所以以上矩阵$A$的对角化成立。

例2：试对矩阵$A=\left[\begin{array}{ccc}2& 4& 3\\ -4& -6& -3\\ 3& 3& 1\end{array}\right]$对角化。

解：

$A$的特征方程：
$0=det(A-\lambda I)=-(\lambda -1)(\lambda +2{)}^2$

所以特征值为：1和-2。
用上例的方法求得:
特征值1对应的特征向量为：$v_1=\left[\begin{array}{c}1\\ -1\\ 1\end{array}\right]$
特征值2对应的特征向量为：$v_2=\left[\begin{array}{c}-1\\ 1\\ 0\end{array}\right]$

检验$v_1$、$v_2$是否线性相关：
$[v_1{v}_{2}0]=\left[\begin{array}{ccc}1& -1& 0\\ -1& 1& 0\\ 1& 0& 0\end{array}\right]\to \left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 0\end{array}\right]$
方程$[v_1{v}_2]x=0$仅有平凡解，所以矩阵$[v_1{v}_2]$各列线性无关，所以特征向量$v_1$、$v_2$线性无关。

但是根据对角化定理，虽然$v_1$、$v_2$线性无关，但是仅有2个特征向量，没达到3个所以矩阵$A$不能对角化。

例3：判断矩阵$A=\left[\begin{array}{ccc}5& -8& 1\\ 0& 0& 7\\ 0& 0& -2\end{array}\right]$是否可以对角化。

解：
因为$A$为三角阵，其主对角线元素就是特征值，所以其特征值为5、0和-2，这是三个相异的特征值，所以可以对角化。

总结：
一个判断矩阵对角化的充分条件：如果$n\times n$的矩阵$A$有$n$个相异的特征值，则可以对角化。
当然，$n\times n$的矩阵不是必须有$n$个不同特征值才可以对角化的，例如上面的例2，仅有2个不同特征值也能对角化。

奇异值分解（Singular Value Decomposition，SVD）

  背景：由上述对矩阵对角化的讨论可知，矩阵的对角化，即$A=PD{P}^{-1}$（$D$为对角阵）的分解有很多简便的用途，但是不是所有矩阵都有这样的分解的。但是，所有的矩阵都可以分解成$A=QD{P}^{-1}$，这就是奇异值分解SVD，它是线性代数中最有用的分解之一。

例：矩阵$A=\left[\begin{array}{ccc}4& 11& 14\\ 8& 7& -2\end{array}\right]$，线性变换$x|\to Ax$将$R^3$中的单位球 { x : ∣ ∣ x ∣ ∣ = 1 } \{x:||x||=1\} {x:∣∣x∣∣=1}映射为$R^2$中的椭圆。请找出使得长度$||Ax||$最大的一个单位向量$x$，并计算这个最大长度。

解：

举例：例如$R^3$中的一个点$x=\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]$，经过线性变换$x|\to Ax$后，即：
$x^{{}^{\prime }}=Ax=\left[\begin{array}{ccc}4& 11& 14\\ 8& 7& -2\end{array}\right]\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]=\left[\begin{array}{c}68\\ 16\end{array}\right]$

可见，原来的三维点变成了二维，其线性变换公式就是$Ax$。

题目要求使得长度$||Ax||$最大，那么也是$||Ax|{|}^2$最大，后者更好计算，因为：

$||Ax|{|}^2=(Ax{)}^T(Ax)=x^T{A}^{T}Ax=x^T(A^{T}A)x$，

其中$(A^{T}A{)}^T=A^T(A^T{)}^T=A^{T}A$，所以$A^{T}A$是对称矩阵。

由于经过转化后的$Ax$的模为$x^T(A^{T}A)x$，要使之最大，所以，现在问题转化为在条件$||x||=1$的限制下，求二次型$x^T(A^{T}A)x$最大值，并求对应的单位向量。

因为，二次型$x^T(A^{T}A)x$最大值就是矩阵$A^{T}A$的最大特征值，所以先求阵$A^{T}A$：

$A^{T}A=\left[\begin{array}{cc}4& 8\\ 11& 7\\ 14& -2\end{array}\right]\left[\begin{array}{ccc}4& 11& 14\\ 8& 7& -2\end{array}\right]=\left[\begin{array}{ccc}80& 100& 40\\ 100& 170& 140\\ 40& 140& 200\end{array}\right]$

所以二次型$x^T(A^{T}A)x=80x_1^2+170x_2^2+200x_3^2+200x_1{x}_2+80x_1{x}_3+280x_2{x}_3$

求出矩阵$A^{T}A$特征值：

A =

    80   100    40
   100   170   140
    40   140   200

>> eig(A)

ans =

   -0.0000
   90.0000
  360.0000

特征值和对应的单位特征向量：

${\lambda }_1=360,u_1=\left[\begin{array}{c}\frac{1}{3}\\ \frac{2}{3}\\ \frac{2}{3}\end{array}\right]$
${\lambda }_2=90,u_2=\left[\begin{array}{c}-\frac{2}{3}\\ -\frac{1}{3}\\ \frac{2}{3}\end{array}\right]$
${\lambda }_3=0,u_3=\left[\begin{array}{c}\frac{2}{3}\\ -\frac{2}{3}\\ \frac{1}{3}\end{array}\right]$

因为$||Ax|{|}^2=x^T(A^{T}A)x$的最大值为360，且在对应的单位特征向量$u_1=\left[\begin{array}{c}\frac{2}{3}\\ -\frac{2}{3}\\ \frac{1}{3}\end{array}\right]$处取得，

$A{u}_1=\left[\begin{array}{ccc}4& 11& 14\\ 8& 7& -2\end{array}\right]\left[\begin{array}{c}\frac{1}{3}\\ \frac{2}{3}\\ \frac{2}{3}\end{array}\right]=\left[\begin{array}{c}18\\ 6\end{array}\right]=\left[\begin{array}{c}{y}_1\\ y_2\end{array}\right]$

$\left[\begin{array}{c}{y}_1\\ y_2\end{array}\right]$为经过线性变换$x|\to Ax$后的坐标，上式表明，向量$A{u}_1=\left[\begin{array}{c}18\\ 6\end{array}\right]$即指向新坐标系中距离原点最远的点$(18,6)$，即该椭圆长轴的一个端点。且对于$||x||=1$，$||Ax||$最大值为$\sqrt{360}$。

奇异值（Singular Value）

定义：如果$A$为$m\times n$的矩阵，$A^{T}A$为对称矩阵且可正交对角化， { u 1 , … , u n } \{u_1,\dots,u_n\} {u1​,…,un​}是$R^n$的单位正交向基且构成$A^{T}A$的特征向量，${\lambda }_1,,\dots ,{\lambda }_n$是$A^{T}A$对应的特征值，那么对于$1\le i\le n$，有：

$||A{u}_i|{|}^2=(A{u}_i{)}^T(A{u}_i)=v_i^T{A}^{T}A{u}_i=u_i^T(A^{T}A)u_i=u_i^T(A^{T}A{u}_i)=u_i^T({\lambda }_i{u}_i)={\lambda }_i$

即$||A{u}_i|{|}^2={\lambda }_i$，可见$A^{T}A$的所有特征值非负，对所有特征值进行排列：
${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_n\ge 0$，
则矩阵$A$的奇异值是$A^{T}A$特征值的平方根（按递减顺序排列），记作${\sigma }_1,\dots ,{\sigma }_n$，即${\sigma }_i=\sqrt{{\lambda }_i}$。

由上例可知，矩阵$A$的奇异值其实是向量$A{u}_1,\dots ,A{u}_n$的长度。
所以，上例对应于特征值360、90、0的奇异值分别为
${\sigma }_1=\sqrt{{\lambda }_1}=\sqrt{360}$
${\sigma }_2=\sqrt{{\lambda }_2}=\sqrt{90}$
${\sigma }_3=\sqrt{{\lambda }_3}=\sqrt{0}=0$

又因为$A$的第二个奇异值是$||Ax||$在所有与$u_1$正交的单位向量$u_2$上的最大值，且这个最大值在第二个单位特征向量$u_2$处获得，所以：

$A{u}_2=\left[\begin{array}{ccc}4& 11& 14\\ 8& 7& -2\end{array}\right]\left[\begin{array}{c}-\frac{2}{3}\\ -\frac{1}{3}\\ \frac{2}{3}\end{array}\right]=\left[\begin{array}{c}3\\ -9\end{array}\right]$

而点$(3,-9)$在新的椭圆的短轴端点。

所以，矩阵$A$的前两个奇异值其实是椭圆长版轴和短半轴的长度。

奇异值分解定理

  定理：如果$A$是一个秩为$r$的$m\times n$的矩阵，那么存在一个形为$\Sigma =\left[\begin{array}{cc}D& 0\\ 0& 0\end{array}\right]$的$m\times n$的矩阵（其中$D$为$r\times r$的且对角线元素为正的对角阵，$r$不超过$m$、$n$中较小的那个），其中$D$的对角线元素是$A$的前$r$个奇异值，${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r\ge 0$，并且存在一个$m\times m$的正交矩阵$U$和一个$n\times n$的正交矩阵$V$使得$A=U\Sigma V^T$。任何分解$A=U\Sigma V^T$都称为$A$的一个奇异值分解（SVD）。
  注意，$U$和$V$不是由$A$唯一确定的。$U$中的列称为$A$的左奇异向量（Left Singular Vectors），$V$的列称为$A$的右奇异向量（Right Singular Vectors）。

例：求上例中的矩阵$A=\left[\begin{array}{ccc}4& 11& 14\\ 8& 7& -2\end{array}\right]$的一个奇异值分解。

解：
求奇异值分解可分三步

1. 将矩阵$A^{T}A$正交对角化。先求矩阵$A^{T}A$的特征值及对应的特征向量的单位正交集。
2. 计算矩阵$V$和矩阵$\Sigma$。将矩阵$A^{T}A$的特征值降序排列，
   由上例可知，
   特征值和对应的单位特征向量：

${\lambda }_1=360,u_1=\left[\begin{array}{c}\frac{1}{3}\\ \frac{2}{3}\\ \frac{2}{3}\end{array}\right]$
${\lambda }_2=90,u_2=\left[\begin{array}{c}-\frac{2}{3}\\ -\frac{1}{3}\\ \frac{2}{3}\end{array}\right]$
${\lambda }_3=0,u_3=\left[\begin{array}{c}\frac{2}{3}\\ -\frac{2}{3}\\ \frac{1}{3}\end{array}\right]$

所以
$V=\left[\begin{array}{ccc}{u}_1& u_2& u_3\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{3}& -\frac{2}{3}& \frac{2}{3}\\ \frac{2}{3}& -\frac{1}{3}& -\frac{2}{3}\\ \frac{2}{3}& \frac{2}{3}& \frac{1}{3}\end{array}\right]$

下面构造矩阵$\Sigma$：
由于上例对应于特征值360、90、0的奇异值分别为
${\sigma }_1=\sqrt{{\lambda }_1}=\sqrt{360}$
${\sigma }_2=\sqrt{{\lambda }_2}=\sqrt{90}$
${\sigma }_3=\sqrt{{\lambda }_3}=\sqrt{0}=0$

所以非零奇异值为矩阵$D$的对角线元素，所以：

$D=\left[\begin{array}{cc}\sqrt{360}& 0\\ 0& \sqrt{90}\end{array}\right]$

而矩阵$D$是矩阵$\Sigma$的左上角，其他元素放0即可，所以：

$\Sigma =\left[\begin{array}{cc}D& 0\end{array}\right]=\left[\begin{array}{ccc}\sqrt{360}& 0& 0\\ 0& \sqrt{90}& 0\end{array}\right]$

3. 构造矩阵$U$。当矩阵$A$的秩为$r$时，矩阵$U$的前$r$列是从$A{u}_1,\dots ,A{u}_n$计算得到的单位向量。因为本例中，矩阵$A$有两个非零奇异值，所以$rankA=2$，且$||A{u}_1||={\sigma }_1$，$||A{u}_2||={\sigma }_2$

由于上面计算得：
$A{u}_1=\left[\begin{array}{ccc}4& 11& 14\\ 8& 7& -2\end{array}\right]\left[\begin{array}{c}\frac{1}{3}\\ \frac{2}{3}\\ \frac{2}{3}\end{array}\right]=\left[\begin{array}{c}18\\ 6\end{array}\right]$

$A{u}_2=\left[\begin{array}{ccc}4& 11& 14\\ 8& 7& -2\end{array}\right]\left[\begin{array}{c}-\frac{2}{3}\\ -\frac{1}{3}\\ \frac{2}{3}\end{array}\right]=\left[\begin{array}{c}3\\ -9\end{array}\right]$

把向量$A{u}_1=\left[\begin{array}{c}18\\ 6\end{array}\right]$和向量$A{u}_2=\left[\begin{array}{c}3\\ -9\end{array}\right]$单位化：

$u_1^{{}^{\prime }}=\frac{1}{{\sigma }_1}A{u}_1=\frac{1}{\sqrt{18^2+6^2}}\left[\begin{array}{c}18\\ 6\end{array}\right]=\frac{1}{\sqrt{360}}\left[\begin{array}{c}18\\ 6\end{array}\right]=\left[\begin{array}{c}\frac{3}{\sqrt{10}}\\ \frac{1}{\sqrt{10}}\end{array}\right]$

$u_2^{{}^{\prime }}=\frac{1}{{\sigma }_2}A{u}_2=\frac{1}{\sqrt{3^2+(-9{)}^2}}\left[\begin{array}{c}3\\ -9\end{array}\right]=\frac{1}{\sqrt{90}}\left[\begin{array}{c}3\\ -9\end{array}\right]=\left[\begin{array}{c}\frac{1}{\sqrt{10}}\\ -\frac{3}{\sqrt{10}}\end{array}\right]$

所以，现在得到了属于$R^2$的基， { u 1 , u 2 } \{u_1,u_2\} {u1​,u2​}，

所以构造$U=\left[\begin{array}{cc}{u}_1& u_2\end{array}\right]=\left[\begin{array}{cc}\frac{3}{\sqrt{10}}& \frac{1}{\sqrt{10}}\\ \frac{1}{\sqrt{10}}& -\frac{3}{\sqrt{10}}\end{array}\right]$

所以$A$的一个奇异值分解为：

$A=U\Sigma V^T=\left[\begin{array}{cc}\frac{3}{\sqrt{10}}& \frac{1}{\sqrt{10}}\\ \frac{1}{\sqrt{10}}& -\frac{3}{\sqrt{10}}\end{array}\right]\left[\begin{array}{ccc}\sqrt{360}& 0& 0\\ 0& \sqrt{90}& 0\end{array}\right]\left[\begin{array}{ccc}\frac{1}{3}& \frac{2}{3}& \frac{2}{3}\\ -\frac{2}{3}& -\frac{1}{3}& \frac{2}{3}\\ \frac{2}{3}& -\frac{2}{3}& \frac{1}{3}\end{array}\right]$

例4：求矩阵$A=\left[\begin{array}{cc}1& -1\\ -2& 2\\ 2& -2\end{array}\right]$的一个奇异值分解。

解：

先计算$A^{T}A=\left[\begin{array}{cc}9& -9\\ -9& 9\end{array}\right]$（$A^{T}A$为对称矩阵且可正交对角化），求得$A^{T}A$特征值为18，0.
特征值18对应的单位特征向量为：$v_1=\left[\begin{array}{c}-\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right]$

特征值0对应的单位特征向量为：$v_2=\left[\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right]$

所以$V=\left[\begin{array}{cc}{v}_1& v_2\end{array}\right]=\left[\begin{array}{cc}-\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]$

矩阵的奇异值为${\sigma }_1=\sqrt{18}=3\sqrt{2}$，${\sigma }_2=0$，因为只有一个非零奇异值，所以矩阵$D$只有一个值，即$D=3\sqrt{2}$，矩阵$\Sigma$形状同$A$：

$\Sigma =\left[\begin{array}{cc}3\sqrt{2}& 0\\ 0& 0\\ 0& 0\end{array}\right]$

为了构造$U$，先求$A{v}_1$、$A{v}_2$：
$A{v}_1=\left[\begin{array}{c}-\sqrt{2}\\ 2\sqrt{2}\\ -2\sqrt{2}\end{array}\right]$

$A{v}_2=\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right]$

将$A{v}_1$单位化：$u_1=\left[\begin{array}{c}-\frac{1}{3}\\ \frac{2}{3}\\ -\frac{2}{3}\end{array}\right]$

矩阵$U$的前$r$列是从$A{u}_1,\dots ,A{u}_n$计算得到的单位向量。因为本例中，矩阵$A$只有有1个非零奇异值，所以$rankA=1$，且$||A{v}_1||={\sigma }_1$。

所以本例中$U$的第一列是$u_1=\left[\begin{array}{c}-\frac{1}{3}\\ \frac{2}{3}\\ -\frac{2}{3}\end{array}\right]$，而其他列要将 { u 1 } \{u_1\} {u1​}扩充为$R^3$的单位正交基才能得到。因此，要找到另外两个与$u_1$正交的单位向量$u_2$、$u_3$，此关系可表述为：

$u_1^{T}x=\left[\begin{array}{ccc}-\frac{1}{3}& \frac{2}{3}& -\frac{2}{3}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=-\frac{1}{3}{x}_1+\frac{2}{3}{x}_2-\frac{2}{3}{x}_3=0$

通解：$x=\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=x_2\left[\begin{array}{c}2\\ 1\\ 0\end{array}\right]+x_3\left[\begin{array}{c}-2\\ 0\\ 1\end{array}\right]$

$u_2=\frac{1}{\sqrt{5}}\left[\begin{array}{c}2\\ 1\\ 0\end{array}\right]=\left[\begin{array}{c}\frac{2}{\sqrt{5}}\\ \frac{1}{\sqrt{5}}\\ 0\end{array}\right]$

由于$\left[\begin{array}{c}2\\ 1\\ 0\end{array}\right]$、$\left[\begin{array}{c}-2\\ 0\\ 1\end{array}\right]$与$u_1=\left[\begin{array}{c}-\frac{1}{3}\\ \frac{2}{3}\\ -\frac{2}{3}\end{array}\right]$都正交，

下面用格拉姆施密特方法求 S p a n { [ 2 1 0 ] Span\{\begin{bmatrix}2\\1\\0\end{bmatrix} Span{⎣⎡​210​⎦⎤​,$\left[\begin{array}{c}-2\\ 0\\ 1\end{array}\right]\}$的一个正交基：

令$w_1=\left[\begin{array}{c}2\\ 1\\ 0\end{array}\right]$

$w_2=\left[\begin{array}{c}-2\\ 0\\ 1\end{array}\right]-\frac{-4}{5}\left[\begin{array}{c}2\\ 1\\ 0\end{array}\right]=\left[\begin{array}{c}-\frac{2}{5}\\ \frac{4}{5}\\ 1\end{array}\right]$

标准化：
$u_2=\frac{1}{\sqrt{5}}\left[\begin{array}{c}2\\ 1\\ 0\end{array}\right]=\left[\begin{array}{c}\frac{2}{\sqrt{5}}\\ \frac{1}{\sqrt{5}}\\ 0\end{array}\right]$

$u_3=\frac{5}{\sqrt{45}}\left[\begin{array}{c}-\frac{2}{5}\\ \frac{4}{5}\\ 1\end{array}\right]=\left[\begin{array}{c}-\frac{2}{\sqrt{45}}\\ \frac{4}{\sqrt{45}}\\ \frac{5}{\sqrt{45}}\end{array}\right]$

所以：$U=\left[\begin{array}{ccc}{u}_1& u_2& u_3\end{array}\right]=\left[\begin{array}{ccc}-\frac{1}{3}& \frac{2}{\sqrt{5}}& -\frac{2}{\sqrt{45}}\\ \frac{2}{3}& \frac{1}{\sqrt{5}}& \frac{4}{\sqrt{45}}\\ -\frac{2}{3}& 0& \frac{5}{\sqrt{45}}\end{array}\right]$

所以$A$的一个奇异值分解为：

$A=U\Sigma V^T=\left[\begin{array}{ccc}{u}_1& u_2& u_3\end{array}\right]=\left[\begin{array}{ccc}-\frac{1}{3}& \frac{2}{\sqrt{5}}& -\frac{2}{\sqrt{45}}\\ \frac{2}{3}& \frac{1}{\sqrt{5}}& \frac{4}{\sqrt{45}}\\ -\frac{2}{3}& 0& \frac{5}{\sqrt{45}}\end{array}\right]\left[\begin{array}{cc}3\sqrt{2}& 0\\ 0& 0\\ 0& 0\end{array}\right]\left[\begin{array}{cc}-\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]=\left[\begin{array}{cc}1& -1\\ -2& 2\\ 2& -2\end{array}\right]$

经验算上述分解是正确的。

MATLAB做SVD分解

  对于上例中的矩阵$A=\left[\begin{array}{cc}1& -1\\ -2& 2\\ 2& -2\end{array}\right]$，在MATLAB中做SVD分解，命令[U,S,V]=svd(A)：

A =

     1    -1
    -2     2
     2    -2

>> [U,S,V]=svd(A)

U =

   -0.3333    0.6667   -0.6667
    0.6667    0.6667    0.3333
   -0.6667    0.3333    0.6667


S =

    4.2426         0
         0         0
         0         0


V =

   -0.7071    0.7071
    0.7071    0.7071

  可见MATLAB中得到的$U$矩阵第一列与手算是一致的，第二第三列则不一致，$S$矩阵与手算的$\Sigma$矩阵一致，$V$矩阵与手算的$V^T$矩阵一致。