PCA主成分分析要点

方差表示是数据间的多样性程度。https://zhuanlan.zhihu.com/p/35654077

求投影后的方差最大通过拉格朗日乘子法求导求极值等价成求协方差矩阵的特征值，求得的特征向量都可以作为线性变换后新空间的基向量，且他们是正交的。若要降到k维，主成分就是协方差矩阵的前k个主特征向量，将原数据X的每个样本（或者说整个X）分别与k个特征向量（投影向量）做内积，得到降维后的数据。

特征向量在线性变换后仍然处在原向量张成的空间上，特征值是特征向量相对于原来向量的缩放比例。