基本思想
主成分分析(PCA)是一种多元统计方法,主要利用降维的思想,在损失很少信息的前提下,把多个变量转化为少数几个互不相关的综合变量,各综合变量即称为主成分。简单来说,主成分与原变量之间应有如下关系:
主成分是原变量的线性组合;
各主成分之间互不相关;
主成分的数目远远小于原变量的数目,且保留了原变量绝大多数信息。
假设有p个变量,分别用表示,随机向量,设随机向量X的均值为μ,协方差矩阵为Σ。
对X进行线性变换得Y,且,其中,,即:
令 方差 ,希望尽可能的大,但需设置限制条件