本文介绍了正交基的概念、正交投影如何简化矩阵正交化的问题，以及Gram-Schmidt正交化过程。通过QR分解，将矩阵转化为正交矩阵与上三角矩阵的形式，从而简化求解最小二乘问题。文中还阐述了正交化在解决线性无关列向量问题中的重要性，并引用了线性代数的经典著作作为参考。
正交基和Gram-Schmidt正交化
1. 正交基的一些概念
本文的两个目的:
- 在求最小二乘解 x ^ \widehat{x} x , 投影 p p p, 投影矩阵 P P P的时候, 使用正交性质会使问题变简单. 因为在 A A A的列向量正交的性质下, 正交方程中的 A T A A^TA ATA变成了对角阵.
- 如何将原向量组变成正交的向量组, 二者之间的变换关系如何描述.
正交向量组定义如下:
正交矩阵的定义: 如果向量组构成的矩阵为方阵, 称为正交矩阵, 有如下的另外性质:
正交矩阵的性质:
关于正交矩阵的一个例子: 旋转矩阵:
2. 通过正交投影进行矩阵的正交化
如果 A x = b Ax = b Ax=b求最小二乘解, 可知:
A T A x ^ = A T b A^TA \widehat{x} = A^Tb ATAx
=ATb
如果矩阵A(不一定是方阵)中的所有列向量正交. 那么: Q x = b Qx = b Qx=b求最小二乘解有:
Q T Q x ^ = Q T b ⇒ x ^ = Q T b Q^TQ\widehat{x} = Q^Tb \Rightarrow \widehat{x} = Q^Tb QTQx
=QTb⇒x
=QTb
投影矩阵 P P P:
P = Q ( Q T Q ) − 1 Q T ⇒ P = Q Q T P = Q(Q^TQ)^-1Q^T \Rightarrow P = QQ^T P=Q(QTQ)−1QT⇒P=QQT
为什么要去搞什么正交化呢?
因为正交的向量组有性质 Q T Q = I Q^TQ = I QTQ=I, 而在求解最小二乘解的时候会出现 A T A A^TA ATA这种结构, 所以如果求解的方程组 A x = b Ax = b Ax=b中的矩阵 A A A是一个正交矩阵, 那么求解会变得简单许多.
Gram-schmidt正交化
- 输入: 矩阵 A = [ a b c ] A = \begin{bmatrix} a&b&c \end{bmatrix} A=[ab
最低0.47元/天 解锁文章
扫一扫
4107
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
