矩阵理论--矩阵分解

风声holy

已于 2023-12-28 23:04:02 修改

阅读量1.2k

点赞数

分类专栏：高等数学笔记文章标签：矩阵机器学习线性代数

于 2023-11-11 18:05:40 首次发布

本文链接：https://blog.csdn.net/weixin_45827703/article/details/134351667

版权

高等数学笔记专栏收录该内容

42 篇文章 20 订阅

订阅专栏

矩阵理论–矩阵分解

矩阵分解是期望将矩阵写成两个或者三个矩阵相乘的形式，其中最好是出现酉矩阵、对角矩阵、三角矩阵等特殊形式的矩阵，它们具有很好的性质。

1、三角分解

（1）非奇异方阵

方阵（非奇异）：将方阵分解成酉矩阵左乘正线上三角，或者酉矩阵右乘正线下三角。

分解步骤：
1. 列分块得n个列向量构成的向量组；
2. 将n个列向量施密特正交单位化；
3. 用标准正交基表出该向量组；
4. 写成矩阵相乘的形式，即得三角分解。(正交基即列向量组，系数按列写成矩阵形式)
按行分块，对行向量，通过列初等变换（高斯消元）得到标准正交基，即得到U矩阵右乘下三角
施密特正交化-单位化：
1. $\beta_1 = \frac{\alpha_1}{||\alpha_1||}$ ;
2. $\beta_2 = \frac{\alpha_2 - (\alpha_2,\beta_1)\beta_1}{||\alpha_2 - (\alpha_2,\beta_1)\beta_1||}$ ;
3. $\beta_3 = \frac{\alpha_3 - (\alpha_3,\beta_2)\beta_2-(\alpha_3,\beta_1)\beta_1}{||\alpha_3 - (\alpha_3,\beta_2)\beta_2-(\alpha_3,\beta_1)\beta_1||}$
反过来表出：记k11=|A1|,k22 = |A2-(A2,B1)|,k12=(B1,A2)
1. $\alpha_1 = k_{11}\beta_1$ ;
2. $\alpha_2 = k_{22}\beta_2+k_{12}\beta_1$ ;
3. $\alpha_3 = k_{33}\beta_3+k_{23}\beta_2+k_{13}\beta_1$ ;
4. $[\alpha_1,\alpha_2,\alpha_3] = [\beta_1,\beta_2,\beta_3]\begin{bmatrix}k_{11}&k_{12}&k_{13}\\ 0&k_{22}&k_{23}\\0&0&k_{33}\end{bmatrix}$
特殊矩阵的三角分解：
1. 实满秩矩阵：A = QR，Q是正交矩阵，R是实正线上三角。
2. 实对称正定矩阵：A = R^TR，R实正线上三角。（正定实称矩阵和单位阵合同）
3. Hermite矩阵：A = R^HR，R复正线上三角。

（2）满秩的高矩阵、宽矩阵

列满秩矩阵，列分块，添加列向量，补成一个方阵（非奇异），再按方阵的方式分解，将得到一个方形的酉矩阵左乘（正线上三角；0）
行满秩矩阵，行分块，添加行向量，补成一个方阵（非奇异），再按方阵的方式分解，将得到一个方形的酉矩阵右乘（正线下三角，0）

（3）其它矩阵

奇异矩阵，非满秩的高矩阵、宽矩阵，可以分解为 $U\begin{vmatrix}L&0\\0&0\end{vmatrix}V$ ，U、V是两个方形酉矩阵（不一定同阶）。

分解步骤：

AP = B(E_r,C)
AP = U(R;0 )(E_r,C) = U(R,RC;0,0)
AP = U((L 0 )V1 ;0 0 ) = U(L 0 ;0 0 )V1
A = U(L 0 ;0 0 )V1P^-1 = $U\begin{vmatrix}L&0\\0&0\end{vmatrix}V$

2、谱分解

谱是指矩阵的所有特征根构成的集合，表示为 𝜆(A)={𝜆1,𝜆2,……,𝜆r}。

首先需要指出，只有单纯矩阵才有谱分解。

（1）单纯矩阵：每个特征根的基础解系的维数等于特征根的重数。

单纯矩阵，等价于可对角化矩阵。

分解步骤：P仅是一个非奇异阵。
1. 解特征方程式，求特征根；
2. 相似对角化：D = diag() = P^-1AP;A = PDP^-1；
3. P列分块，P^-1行分块，利用分块矩阵的乘法即得A的谱分解
单纯矩阵谱分解就是将矩阵分解成一系列的秩一矩阵加权和。
相似对角化：
1. Ap = p𝜆，p是某个特征根的特征向量
2. 由于是单纯矩阵，该特征根有几重，这样的p就有几个，这几个p要求线性无关；
3. 一共有n个p，从而构成一个方阵P，且线性无关，那么就非奇异，有逆；
4. D = P^-1AP。
秩一矩阵：行向量乘以列向量。
幂等矩阵：投影矩阵，AA=A；由于P^-1P=E，则P的行向量乘以P^-1的列向量，将得到一个幂等矩阵。
幂等矩阵的秩可以是小于等于n的任何一个数，0矩阵是一种幂等矩阵，单位阵E也是一种幂等矩阵。
秩一矩阵要么是幂等矩阵，要么是幂等矩阵乘以一个缩放因子，即AA=kA。
幂等矩阵：特征值非零即1，可对角化。
幂等矩阵： $R(P)⨁N(P)=C^n$ ，R§是特征值1的特征子空间，N§是特征值0的特征子空间。

单纯矩阵的谱分解：

单纯矩阵等于一系列幂等矩阵A_i的加权求和，权值为特征值。
幂等性：A_i
分离性：A_iA_j=E
可加性： $\sum A_i=E$

（2）正规矩阵：满足A^HA=AA^H。正规矩阵一定是单纯矩阵。

注意1：A^HA是Hermite矩阵，不代表A是Hermite矩阵。
$A=A^H \succ A^HA=AA^H \succ A=PDP^{-1}$
注意2： $A^HB)^H=B^HA$

分解步骤：此处的P是一个酉矩阵。正规矩阵可酉相似对角化。
1. 相似对角化；
2. P列分块，P^-1行分块，分块矩阵乘法。
正规矩阵谱分解成了一系列的正交投影的加权和。
正交投影：幂等矩阵，并且是Hermite阵。
如果A为上三角矩阵，则A是正规矩阵的充要条件是A为对角矩阵；
如果A为块上三角矩阵，则A是正规矩阵的充要条件是A为块对角矩阵，且对角块为正规矩阵。
tr(AA^H)=tr(A^HA)=A的矩阵二范数的平方；
A与B酉相似，如果A是正规矩阵，则B也是正规矩阵。
舒尔分解：任意方阵A=URU^H，即任意方阵和上三角矩阵R相似，R的对角元为A的特征值。
舒尔分解+正规矩阵：A是正规矩阵，则R是正规矩阵，则R是对角矩阵。
正规矩阵A性质：
1. $\lambda(A)=\bar \lambda(A^H)$ ； $Ax|| = ||A^Hx||$
2. A的特征子空间和A^H的特征子空间完全相同。
3. A的特征子空间正交。不同特征值的特征向量必正交。
4. A是单纯矩阵

3、最大秩分解

最大秩分解：任意矩阵A，A=BD，B是一个列满秩矩阵，D是一个行满秩矩阵，三个矩阵的秩相等。
分解方法：
1. A化为行简化阶梯形A_w；
2. A_w的非0列对应于A中的列构成B，A_w的非0行对应于A_w的行构成D
列满秩矩阵：A是mxn的矩阵，若m>=n，则rank(A)<=n，nullity(A)<=n
1. 秩零度定理：rank(A) + nullity(A) = n
2. nullity(A)等于Ax=0的解空间维数。
3. 如果rank(A)=n，那么nullity(A)=0，即Ax=0的解空间为零空间。
4. 列满秩矩阵构成的齐次线性方程组只有零解。

4、奇异值分解

三角分解： $A=U\begin{vmatrix}L&0\\0&0\end{vmatrix}V$

其中L是一个r阶正线下三角矩阵。

为了进一步简化，发展出奇异值分解： $A=U\begin{vmatrix}D&0\\0&0\end{vmatrix}V^H$ 。

其中D是一个r阶正线对角矩阵。

分解步骤：
1. 求A^HA的特征值，从而求出正奇异值 $\sigma_i = \sqrt{\lambda_i}$ 。
2. 由于是正规矩阵，因此可以将每个特征根对应的特征子空间的基抽出来构成一个n阶酉矩阵 $\begin{vmatrix}V1&V2 \end{vmatrix}$ 。
3. $A^HA=V\begin{vmatrix}D^HD&0\\0&0\end{vmatrix}V^H$
4. $D^HD=diag\{{\lambda_1,\lambda_2,...,\lambda_r}\}$ ；D=diag{𝛿1,𝛿2,…,𝛿r}，|𝛿i| = 𝛔i > 0; D的取法不唯一，𝛿i是一个复数，模长为𝛔i，相位任意。
5. U = (U1, U2)；U1 = AV1D^-1;U2是U1的正交补，U2^HU1=0。U1^Hx=0，求出基础解系，U1和基础解系一起作施密特正交化，即得U。
6. U^HAV = $\begin{vmatrix}D&0\\0&0\end{vmatrix}$ ;
7. A = $U\begin{vmatrix}D&0\\0&0\end{vmatrix}V^H$
(A^HA)^HA^HA = A^HA(A^HA)^H，因此A^HA是n阶正规矩阵，正规矩阵可以谱分解成一系列正交投影的加权和，A^HA是半正定矩阵。换句话说，A^HA比一般Hermite矩阵的条件更强，一般的Hermite矩阵不一定能写成A^HA。
正交补的求法：W2是W1的正交补。
1. 根据秩零度定理：rank(A)+N(A)=n；
2. A的极大无关列向量组可张成rank(A)维的空间W1；
3. 令Ax=0，求出基础解系，基础解系可张成解空间W2；
4. W1⨁W2=V(Cⁿ)

5、舒尔分解

舒尔分解相当重要，可以单独拿出来作为一节
任意方阵A=URU^H，即任意方阵和上三角矩阵R酉相似，R的对角元为A的特征值。
证明过程：
1. A = PJP^-1，任意方阵相似于Jordan标准型，J是一个上三角阵，对角元为A的所有特征值
2. P=UR，三角分解，U是一个酉矩阵，R是一个上三角
3. A = URJR^-1U^H
4. 上三角阵的逆仍然是上三角，且对角线为原上三角的倒数。（上三角乘以非上三角，一定不为对角阵）
5. 上三角阵的连乘积仍然为上三角，对角元为上三角对应相乘。
6. 所以T = RJR^-1是上三角，且T的对角元和R的对角元完全相同。