无监督学习-2-PCA

PCA算法认为降维就是一个简单的线性函数，它的输入$x$和输出$z$之间是线性变换，即$z=Wx$,PCA要做的就是根据$x$把$w$找出来（$z$未知）。

一维空间

为了简化问题，假设z是一维的向量，也就是把x投影到一维空间，此时w是一个行向量$z_1=w^1\cdot x$,其中$w^1$的长度为1，即${\Vert w^1\Vert }_2=1$，此时$z_1$ 就是$x$在$w^1$方向上的投影。
$w^1$具体是什么样的：
我们希望选这样一个$w^1$，它使得$x$经过投影之后得到的$z_1$ 分布越大越好，也就是说，经过这个投影后，不同样本点之间的区别，应该仍然是可以被看得出来的，即：
希望找到一个投影的方向，它可以让投影后的方差越大越好。
不希望投影使得这些数据点挤在一起，导致点与点之间的奇异度消失。
其中，方差的计算公式：$Var(z_1)=\frac{1}{N}{\sum }_{z_1}^{}(z_1-\overline{z_1}{)}^2,{\Vert w^1\Vert }_2=1$,$\overline{z_1}$是$z_1$的平均值。
下图为所有样本点在两个不同的方向上投影之后的方差比较：

N维空间

现实中往往需要投影导更高维的空间。
对于$z=Wx$来说：
$z_1=w^1\cdot x$,表示$x$在$w^1$方向上的投影。
$z_2=w^2\cdot x$,表示$x$在$w^2$方向上的投影。
$z_1,z_2,...$结合起来就可以得到$z$,$w^1,w^2,...$,分别是$W$的第1，2,…个行，这里的,$w^i$必须是相互正交，此时$W$ 是正交矩阵（orthogonal matrix）
l