矩阵分解方法 概述

简述矩阵分解

定义

把一个矩阵$A$表示为多个矩阵连乘的形式。

作用

• 用更少的内存消耗，存储一样多信息。eg：稀疏矩阵分解为多个稠密矩阵。
• 提高计算速度。eg：小矩阵比大矩阵更容易求逆。
• 用于矩阵补全。eg：推荐系统中，填补评分矩阵中的空缺项；图像复原。
• 分解后的矩阵有一些实际的意义。

三角分解（LU分解、LR分解）

这部分可以参考我之前的博客，链接

必要条件

• $A$可逆，即：满秩矩阵
• $A$可以被前面的$r(A)$行线性表示

定义

$A=LU=LR$

• LU分解中，$L$是下三角矩阵
• LR分解中，$L$是单位下三角矩阵（单位的意思是“对角线全为1”）
• $U$或$R$是上三角矩阵
• 三角分解本质上是高斯消元法的一种表达形式
  

步骤

通过对$A$不断的左乘初等矩阵，对$A$进行初等变换，使其变为上三角矩阵，那么得到的上三角矩阵即为$U$，这些初等矩阵的逆即为$L$。

eg：$E_3{E}_2{E}_{1}A=U=>A=(E_3{E}_2{E}_1{)}^{-1}U$

作用

• 求$A$的行列式$|A|$时，转换为求解$|L||U|$，三角矩阵求解行列式只需计算对角元素。
• 求线性方程组$Ax=b$时，可将其转换为求解$Ly=b$和$Ux=y$的两个同规模问题，由于$L$和$U$都是三角矩阵，运算量小。
• 求$A$的逆矩阵时，$A^{-1}=U^{-1}{L}^{-1}$，三角矩阵的逆可以通过矩阵分块的方法计算。
  
  

QR分解

这部分可以参考我之前的博客，链接

必要条件

• $A$的所有列向量线性无关，即：列满秩，即：可逆。

定义

$A=QR$

• $Q$是$A$的列向量的施密特标准正交化（正规正交矩阵）
• $R$是$A$的列向量在标准正交基下的坐标表（上三角矩阵）
  

步骤

1. 对$A$进行施密特标准正交化，得到$Q$
2. 由于$Q$是正交矩阵，$Q^{T}Q=I$，则$Q^{T}A=Q^{T}QR=R$，即：$R=Q^{T}A$

作用

• 求解矩阵$A$的全部特征值，此方法被称为QR方法（前提：不存在绝对值相等的特征值），下面进行详细描述。

1. 当$A$为对称矩阵时：
   ①. 通过相似变换，将$A$变换为三对角矩阵$A_0$（除主对角线、主对角线挨着的两条线，其他元素为零）；
   ②. 对$A_0$进行QR分解，得到$A_0=Q_0{R}_0$，令$A_1=R_0{Q}_0$；
   ③. 对$A_1$进行QR分解，得到$A_1=Q_1{R}_1$，令$A_2=R_1{Q}_1$；
   ④. 重复上述过程，得到$A_k$，当$A_k$趋于对角矩阵时，其特征值即为$A_0$的特征值（因为$A_{k+1}=R_k{Q}_k=Q_k^{-1}{Q}_k{R}_k{Q}_k=Q_k^{-1}{A}_k{Q}_k$）。

2. 当$A$不是对称矩阵时：
   ①. 通过HouseHolder变换，将$A$变换为Hessenberg$A_0$（上三角矩阵，左下零三角中紧贴主对角线的那条线上的元素均不为零），Hessenberg矩阵的QR分解一定是另一个Hessenberg矩阵乘以上三角矩阵；
   ②. 对$A_0$进行QR分解，得到$A_0=Q_0{R}_0$，令$A_1=R_0{Q}_0$；
   ③. 对$A_1$进行QR分解，得到$A_1=Q_1{R}_1$，令$A_2=R_1{Q}_1$；
   ④. 重复上述过程，得到$A_k$，当$A_k$趋于上三角矩阵时，其特征值即为$A_0$的特征值。

特征值分解（谱分解，EVD分解）

必要条件

• 方阵

定义

$A=QD{Q}^{-1}$

• 当$A$为$n$阶方阵时（一般形式），$A=QD{Q}^{-1}$，$Q$为$n$阶方阵，$Q$的列向量$q_i$为特征向量， D = d i a g { λ 1 , λ 2 , . . . , λ n } n × n D=diag \{ \lambda_1, \lambda_2, ... , \lambda_n \}_{n \times n} D=diag{λ1​,λ2​,...,λn​}n×n​，${\lambda }_1,{\lambda }_2,...,{\lambda }_n$为特征值。
• 当$A$为实对称矩阵时，$A=QD{Q}^T$，$Q$为正交阵（$Q{Q}^T=I$）。
• 当$A$为复正规矩阵时，$A=UD{U}^H$，$U$为酉矩阵。

步骤

求$A$的特征值和特征向量即可。

作用

• 求解$A$的逆矩阵，$A^{-1}={QD{Q}^{-1}}^{-1}=Q{D}^{-1}{Q}^{-1}$，可以看出，只需求$D^{-1}$即可求得$A^{-1}$，而$D$是对角矩阵，其逆矩阵只需将对角元素取倒数。
• 图像压缩。但是一般现实中，大多数图片不是方的，所以奇异值分解用的较多。
  
  

奇异值分解（SVD分解）

必要条件

• 无限制

定义

$A=UD{V}^H$

• $A$为$m$行$n$列
• $U$为$m$阶酉矩阵
• $V$为$n$阶酉矩阵，$V^H$是$V$的共轭转置
• D = d i a g { σ 1 , σ 2 , . . . , σ r , 0 , . . . , 0 } m × n D=diag \{ \sigma_1, \sigma_2, ... , \sigma_r, 0, ... ,0\}_{m \times n} D=diag{σ1​,σ2​,...,σr​,0,...,0}m×n​，${\sigma }_1,{\sigma }_2,...,{\sigma }_r$为奇异值。

步骤

1. 计算$A{A}^H$的特征值和标准正交特征向量，用向量组成矩阵$U$；
2. 计算$A^{H}A$的特征值和标准正交特征向量，用向量组成矩阵$V$；
3. 使用特征值开根号得到奇异值，组成矩阵$D$。

作用

• 奇异值相当于方阵中的特征值，一般对应于矩阵中的重要信息，奇异值越大，信息的重要性越大。
• 图像压缩。假设原图片为$800\times 600$（忽略颜色通道）的矩阵$A$，将其进行SVD分解，得到$U$、$D$和$V$三个矩阵，我们可以很容易的通过分解后的三个矩阵还原图片。但是，当我们没有足够的存储空间时，我们可以仅保留奇异值较大的若干项（保留的奇异值越多，图片的还原程度越高），来还原一个近似的图像。
• 图像去噪。当图像中存在噪声时，我们可以假设较小的奇异值是由噪声引起的，将这些奇异值变为零，即可去除噪声。
• 主成分分析。
• 推荐系统。
• 语义索引LSI。