向量投影是线性代数中很重要的应用,用于找到向量到目标投影空间的投影向量。这是下一节线性回归的基础。
Ax=b A x = b 有解时
当计算线性方程组 Ax=b A x = b 有解时, b b 就在
的子空间中,则 Ax=b A x = b 在 C(AT) C ( A T ) 中有唯一解。我们考虑 x x 的投影。
设
是 Ax=b A x = b 的解,则 α=αr+αn,αr∈C(AT),αn∈N(A) α = α r + α n , α r ∈ C ( A T ) , α n ∈ N ( A ) 。则:
αr是α在C(AT)的投影。 α r 是 α 在 C ( A T ) 的 投 影 。
αn是α在N(A)的投影。 α n 是 α 在 N ( A ) 的 投 影 。
Ax=b A x = b 无解时
当计算线性方程组 Ax=b A x = b 时, 它可能是无解的,此时我们可以考虑求 x^∈Rn x ^ ∈ R n ,使得|| Ax^−b A x ^ − b || 最小或极小?这就意味着当 b∉C(A) b ∉ C ( A ) 时,我们需要求解 C(A) C ( A ) 上距离 b b 最近的点 , 它就是 b b 在 上的投影点。这对于我们理解最小二乘法很有帮助,具体请参考下一章。
以三维空间为例,目标投影空间可能是线,也可能是面。投影的实质就是找一个函数,从而使得 P(B)=b P ( B ) = b ,也就找到了 B B 在某一维度的映射。类似的,在线性代数中,我们需要找到投影矩阵