投影矩阵

求投影矩阵。
首先要描述清楚问题：

• 先定义一个空间$R^m$。
• 这个空间中有一个向量$b$。
• 再定义一个子空间
• 将$b$投影到子空间后的向量为$p$
• 投影矩阵$P$

$Pb=p$

下面描述子空间：

• 假设子空间的秩为r
• 可以从子空间中选r个不相关的向量来代表这个子空间

方便书写可以将这r个列向量放到一个矩阵中：$A=\left[\begin{array}{c}{x}_1{x}_2\dots x_r\end{array}\right]$

这样可以用$C(A)$来代表这个子空间。

$A$ is m by r, and the rank of A is r, so $A^{T}A$ is invertable.

（我们可以选比r多的向量来表示子空间，但这样不好求投影矩阵，而且这些向量是自己选的，没必要为难自己?）

---

在$R^m$空间有一个向量$b$，求向量到矩阵A的列空间$C(A)$的投影矩阵？（A是m*n的矩阵）

$b=p+e$，$p$是投影向量，$e$是跟列空间垂直的$N(A^T)$空间中的向量，
$A^{T}e=0$。

(图中写错两个地方，“投影向量”，其实为投影矩阵)

上图中第2中写法是错误的，因为$A{A}^T$不一定可逆，它如果可逆，$P=I$，$N(A^T)$就不存在了。

注意要用图中画圈的两个地方才能求出投影矩阵。

---

这个投影和机器学习中的核函数不是一个概念，这个投影是线性变换，核函数是非线性变换。非线性投影。

---

https://www.zhihu.com/question/263365647
把线性变换想象成捏着空间中的单位向量旋转、拉伸，要求这个单位向量不能被弯曲，单位向量始终是直的。
非线性变换则不同，注意的感受是扭曲了空间，例如$\varphi (wx)̸=w\varphi (x)$