主成分分析(PCA)（matlab版本）

一、基础知识

假设两个样本X、Y，它们的均值分别为$\overline{X}$、$\overline{Y}$，样本X和样本Y的协方差为：
$$Cov(X,Y)=\frac{{\sum }_{i=1}^n(X_i-\overline{X})(Y_i-\overline{Y})}{n-1}$$
协方差为正时说明X和Y是正相关，协方差为负时X和Y是负相关¹，协方差为0时X和Y相互独立。
若$XW=\lambda W$，则称$\lambda$是X的特征值，W是对应的特征向量。$XW$的结果等同于$W$按系数$\lambda$的缩放。当X是n阶可逆对称矩阵时，存在正交$Q$ ($Q^{-1}=Q^T$)，使得：
$$Q^{T}XQ=\left(\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_n\end{array}\right)$$
对矩阵X进行奇异值分解，就可以得到特征值和特征向量（Q的列向量）。

二、PCA的理解

数据发生降维时会产生信息损失，同时希望损失尽可能小&#x