PCA原理及一个小例子

PCA要解决的问题：给出一个矩阵X，如何得到一个X的降维矩阵Y（进行降维的同时又尽量保留原始的信息）

解决思路：
1）要求：尽量保留原始的信息。即，使Y的行向量间的协方差为0，而每个行向量的方差尽可能大。
解决方案：使Y的协方差矩阵为对角矩阵

2）如何使Y的协方差矩阵为对角矩阵
解决方案：

3）如何降维
解决方案：

例题：

解：



最后验证一下，Y的协方差矩阵的确是一个对角矩阵，其对角元是2.