MIT_Linear_Algebra_lec16: 投影矩阵和最小二乘

Lecture 16: Projection Matrix and Least Square

MIT 公开课：Gilbert Strang《线性代数》课程笔记（汇总

---

投影矩阵

据前几讲, $Pb=p,b=p+e$

• 其中$P$是投影矩阵，$b$是需要投影到列空间的向量，$p$是投影到列空间的向量。

容易得到，$p\in A$的列空间，$A$的零空间$\perp$A的列空间

• 若$Pb\perp A$的列空间，则$Pb=0$
• 若$Pb$在A的列空间中，则$Pb=b$

最小二乘/线性回归

我们需要线性拟合一组数据，
a(x,y):
a1(1,1), a2(2,2) , a3(3,2)

在二维平面中，找到最优直线表达这组数据。

数学表示

• 如果直线 $f(t)=C+Dt$ 能同时穿过三个点，那么误差就是零了。$$\{\begin{array}{c}C+D=1\\ C+2D=2\\ C+3D=2\end{array}$$
  也就是上式得有解，但是很可惜无解，就相当于 最右边一列 b 不在前两列组成的 列空间 A 中。那么我们只能 b 投影到 A 中。

• 退而，找到 $f(t)=C+Dt$，$s.t$ $min\Sigma (y-f(t){)}^2$

• 误差 = $(C+D-1{)}^2+(C+2D-2{)}^2+(C+3D-2{)}^2=e_1^2+e_2^2+e_3^2=||Ax-b|{|}^2$
  ---- 求偏导 得到 $A^{T}Ax=A^{T}b$, 解得x即为系数C，D

• 由前几讲， 解方程组和求投影矩阵，投影分量x一样，也可得 $A^{T}Ax=A^{T}b$ 中的 x = [C D] 。 ---- 解方程

最小二乘前提

• A 各列线性无关，因为这样$A{A}^T$可逆，上面的方程才有解

• 那么为什么A各列线性无关，$A{A}^T$可逆呢？

  $A$ 和 $A{A}^T$ 的零空间是一样的, 秩也一样