(1)LU分解
矩阵的LU分解是将一个矩阵分解为一个下三角矩阵与上三角矩阵的乘积,LU分解主要应用在数值分析中,用来解线性方程、求逆矩阵或计算行列式。本质上,LU分解是高斯消元的一种表达方式。首先对矩阵A通过初等行变换将其变为一个上三角矩阵(根据行列式的几个基本性质),在将原矩阵A变为上三角矩阵的过程中,一个初等行变换相当于在原始矩阵左边乘一个变换矩阵,这些矩阵乘积的逆即为下三角矩阵,这中间的过程就是Doolittle算法。
(2)UR/QR分解
- 我们先看两个关于UR分解与QR分解的定义:
- 实际上UR分解和QR分解是一致的概念,更多时候我们将其统称为QR分解。QR分解法是三种将矩阵分解的方式之一,QR分解把矩阵分解成一个正交矩阵与一个上三角矩阵的乘积(实质上就是原矩阵基的施密特正交化过程),QR分解是QR算法的基础。
QR分解的应用十分多,其中机器学习的启蒙导师“最小二乘法”就是通过QR分解得到的解,此处留着今后碰到了具体问题再回来探讨。
(3)特征值分解
特征值分解是将一个矩阵分解成下面的形式:
其中Q是矩阵A所有特征向量组成的矩阵(每一列代表一个特征向量,若A为对称阵,则矩阵Q正交),∑是一个对角阵,每一个对角线上的元素就是一个特征值。结合上篇特征值与特征向量的几何意义,再来理解这个公式就十分有趣。
我们知道在给定一组基的前提下,线性变换与矩阵一一对应;同时,同一个线性变换在不同基下的矩阵互为相似矩阵。实际可以将矩阵A理解为线性变换在原始基上的矩阵,而矩阵∑就是该线性变换在由特征向量组成的基上的矩阵,故有:
* (1)原基-->新基:(e1',e2'...en')=(e1,e2,...,en)X,由于新基就是所有的特征向量,因此过渡矩阵X=Q。
* (2)A与∑相似,∑=X^-1AX,即∑=Q^-1AQ,倒过来求A,也就是上面特征值分解的形式。
* (3)因此,特征值分解实际上就是将原来的基映射到了特征向量方向上。