matlab 最小二乘 投影矩阵,线性代数导论(16)-投影矩阵和最小二乘(最新讲义)

线性代数导论(16)-投影矩阵和最小二乘(最新讲义)

1. 投影矩阵

回顾上一讲的内容，只要知道矩阵A 的列空间，就能得到投影矩阵P 的导出式。

$P=A(A^TA)^{-1}A^T$，$Pb$将会把向量投影在$A$的列空间中。

2. 举两个极端的例子：如果b 在A 的列空间 $b\in C(A)$，则$Pb=b$；

如果b 与列空间正交 $b\bot C(A)$，则$Pb=0$。

一般情况下，$b$将会有一个垂直于$A$的分量，有一个在$A$列空间中的分量，投影的作用就是去掉垂直分量而保留列空间中的分量。

在第一个极端情况中，如果$b\in C(A)$则有$b=Ax$。带入投影矩阵$p=Pb=A(A^TA)^{-1}A^TAx=Ax$，得证。

在第二个极端情况中，如果$b\bot C(A)$则有$b\in N(A^T)$，即$A^Tb=0$。则$p=Pb=A(A^TA)^{-1}A^Tb=0$，得证。

向量$b$投影后，有$b=e+p, p=Pb, e=(I-P)b$，这里的$p$是$b$在$C(A)$中的分量，而$e$是$b$在$N(A^T)$中的分量。

3. 回到上一讲最后提到的例题：

我们需要找到距离图中三个点 $(1, 1), (2, 2), (3, 2)$ 偏差最小的直线：$y=C+Dt$。