主成分分析例题

例一

给定X的协差阵，对其进行主成分分析,

（1）求出每个主成分的贡献率；
（2）求出每个原始变量的信息提取率；

---

解：对于主成分分析的题，一般来说，题目给定一个协方差阵，不管怎样先求出特征值和特征向量。
Step1 计算特征根

解$|\Sigma -\lambda I|$=0，得：${\lambda }_1$=2，${\lambda }_2$=2，${\lambda }_3$=1 （${\lambda }_1$≥${\lambda }_2$≥${\lambda }_3$）
如果解出来不确定或者解不出来的话可以通过特征值的和等于协方差阵对角线元素的和以及特征值的积等于协方差阵对应的行列式来进行验证

Step2 求特征向量，这里一定不能忘记要化成单位特征向量

$U_1=\left[\begin{array}{c}1\\ 0\\ 0\end{array}\right]$ $U_2=\left[\begin{array}{c}0\\ \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right]$ $U_3=\left[\begin{array}{c}0\\ -\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right]$

Step3 计算贡献率

第一个主成分的贡献率为：${\lambda }_1$/(${\lambda }_1$+${\lambda }_2$+${\lambda }_3$)=2/5=40%
第二个主成分的贡献率为：${\lambda }_2$/(${\lambda }_1$+${\lambda }_2$+${\lambda }_3$)=2/5=40%
第三个主成分的贡献率为：${\lambda }_3$/(${\lambda }_1$+${\lambda }_2$+${\lambda }_3$)=1/5=20%
（注意这里算的不是累积贡献率）所以我们取前两个主成分就可以了

Step4 求信息提取率

分别计算$x_i$与$F_1$、$F_2$的相关系数的平方，信息提取率为两者之和，
计算相关系数的公式如下

所以x1的信息提取率就是x1与$F_1$相关系数的平方加上x1与$F_2$相关系数的平方，其他原始变量同理。

$x_i$	$x_i$与 $F_1$相关系数的平方	$x_i$与 $F_2$相关系数的平方	信息提取率
1	1	0	1
2	0	2/3	0.67
3	0	2/3	0.67

例二

设$x_1$，$x_2$，$x_3$的协方差矩阵如下，试求主成分分析，并求出每个主成分的贡献率及每个原始变量的信息提取率。
$$\Sigma =\left[\begin{array}{ccc}1& -2& 0\\ -2& 5& 0\\ 0& 0& 2\end{array}\right]$$

---

解：
Step1 计算特征根

解$|\Sigma -\lambda I|$=0，得：${\lambda }_1$=5.83，${\lambda }_2$=2，${\lambda }_3$=0.17 （${\lambda }_1$≥${\lambda }_2$≥${\lambda }_3$）

Step2 求特征向量

$U_1=\left[\begin{array}{c}0.383\\ -0.924\\ 0.000\end{array}\right]$ $U_2=\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]$ $U_3=\left[\begin{array}{c}0.924\\ 0.383\\ 0.000\end{array}\right]$

Step3 计算贡献率
第一个主成分的贡献率为：${\lambda }_1$/(${\lambda }_1$+${\lambda }_2$+${\lambda }_3$)=5.83/8=72.875%
第二个主成分的贡献率为：${\lambda }_2$/(${\lambda }_1$+${\lambda }_2$+${\lambda }_3$)=2/8=25%
第三个主成分的贡献率为：${\lambda }_3$/(${\lambda }_1$+${\lambda }_2$+${\lambda }_3$)=0.17/8=2.125%

Step4 求信息提取率
虽然第一个主成分的贡献率不小，但在本题中第一主成分不含第三个原始变量的信息，因此应该取两个主成分
所以分别计算$x_i$与$F_1$$F_2$的相关系数的平方，信息提取率为两者之和

$x_i$	$x_i$与 $F_1$相关系数的平方	$x_i$与 $F_2$相关系数的平方	信息提取率
1	0.855	0	0.855
2	0.996	0	0.996
3	0	1	1