主成分分析法（失而复得6.17）

最新推荐文章于 2023-11-30 20:01:18 发布

sntx2018

最新推荐文章于 2023-11-30 20:01:18 发布

阅读量681

点赞数

文章标签：层次分析法

本文链接：https://blog.csdn.net/sntx2018/article/details/92755876

版权

设对某一事物的研究涉及p个指标，分别用X₁,X₂,…,X_p表示，这p个指标构成的p维随机向量（或者说矩阵）为X=(X₁, X₂, …, X_p)，一般来说，当数据的指标较多或者维数较多时，会带来分析问题的复杂性。此时能否用某种方法将多个指标转化为几个综合指标，以便达到降维的目的，更简便地分析数据，这种方法就是主成分分析。通常把转化生成的综合指标称为主成分，其中每个主成分都是原始变量的线性组合，且每个成分之间互不相关，使得主成分比原始变量具有某些更优越的性能。
| X₁₁ |X₁₂ | …| X_1p
|–|--|-- |–|
|X₂₁ |X₂₂ |…|X_2p
| X₃₁ | X₃₂|…|X_3p
|…|…|…|…|
| X_m1| X_m2 | …|X_mp
原始p维数据表示为
$X=\begin {bmatrix} x_{11} & x_{12} & \cdots & x_{1p}\\ x_{21} & x_{22} & \cdots & x_{2p}\\ \vdots&\vdots&\ddots & \vdots\\ x_{p1} & x_{p2} & \cdots & x_{pp}\\ \end{bmatrix}$
如上表所示
设随机向量X(矩阵)的均值为 $\mu$ ,协方差矩阵为 $\Sigma$ ，下面给出μ与Σ的求法：
$\mu$ 为矩阵各列向量的平均值，设 $\mu$ =[ $\mu_1$ , $\mu_2$ , …, $\mu_p$ ]，举例: $\mu_1$ = $\frac{1}{m}\sum_{i=0}^m X_{1i}$ ，其他分量的平均值与其类似
$\Sigma$ 的求法：
1.计算协方差矩阵
$\\$

1.1先将X矩阵标准化，即每列元素都减去所在列向量的平均值 $\mu_i$ ,得到
$\begin{pmatrix} x_{11}-\mu_1& x_{12}-\mu_2 &\cdots& x_{1p}-\mu_p \\ x_{21}-\mu_1 & x_{22}-\mu_2& \cdots &x_{2p}-\mu_p \\ \vdots&\vdots&\ddots&\vdots\\ x_{p1}-\mu_1 & x_{p2}-\mu_2& \cdots&x_{pp}-\mu_p \\ \end{pmatrix}=\begin{pmatrix} a_1&a_2&\cdots&a_p \end{pmatrix}$
1.2设这个矩阵为A,则 $\Sigma$ = $\frac {1}{m-1}$ A’*A,得到 $\Sigma$ 如下图
$\Sigma=\begin{bmatrix} \sigma_{11}& \sigma_{12} &\cdots& \sigma_{1p} \\ \sigma_{21}& \sigma_{22} &\cdots& \sigma_{2p} \\ \vdots&\vdots&\ddots&\vdots\\ \sigma_{p1}& \sigma_{p2} &\cdots& \sigma_{pp} \\ \end{bmatrix}$

1.3在此引出矩阵B，其表达式为
$B=\begin{pmatrix} \frac{X_{11}-\mu_1}{{\sqrt {D_1}}} & \frac{X_{12}-\mu_2}{{\sqrt {D_2}}} &\cdots& \frac{X_{1p}-\mu_p}{{\sqrt {D_p}}} \\ \frac{X_{21}-\mu_1}{{\sqrt {D_1}}} & \frac{X_{22}-\mu_2}{{\sqrt {D_2}}} &\cdots& \frac{X_{2p}-\mu_p}{{\sqrt {D_p}}} \\ \vdots&\vdots&\ddots&\vdots\\ \frac{X_{p1}-\mu_1}{{\sqrt {D_1}}} & \frac{X_{p2}-\mu_2}{{\sqrt {D_2}}} &\cdots& \frac{X_{pp}-\mu_p}{{\sqrt {D_p}}} \\ \end{pmatrix}=\begin{pmatrix} b_1&b_2&\cdots&b_p \end{pmatrix}$
2.接下来计算相关矩阵R
$\\$
2.1令 $d=\begin{pmatrix} \sqrt {D_1}& \sqrt {D_2})&\cdots&\sqrt{D_p}\\ \end{pmatrix}$ ， $D_i$ 表示原始矩阵每一列向量的方差， $D = d^{'} * d$ ,则D的表达式为
$\begin{pmatrix} \sqrt {D_{1}D_{1}}& \sqrt {D_{1}D_{2}}&\cdots&\sqrt {D_{1}D_{p}}\\ \sqrt {D_{2}D_{1}}& \sqrt {D_{2}D_{2}}&\cdots&\sqrt {D_{1}D_{p}}\\ \vdots&\vdots&\ddots&\vdots\\ \sqrt {D_{p}D_{1}}& \sqrt {D_{p}D_{2}}&\cdots&\sqrt {D_{p}D_{p}} \\ \end{pmatrix}$
2.2则相关矩阵R= $\Sigma$ ./D
$R=\begin{bmatrix} \frac{\sigma_{11}}{\sqrt {D_{1}D_{1}}}& \frac{\sigma_{11}}{\sqrt {D_{1}D_{1}}}&\cdots&\frac{\sigma_{11}}{\sqrt {D_{1}D_{1}}}\\ \frac{\sigma_{11}}{\sqrt {D_{1}D_{1}}}& \frac{\sigma_{11}}{\sqrt {D_{1}D_{1}}}&\cdots&\frac{\sigma_{11}}{\sqrt {D_{1}D_{1}}}\\ \vdots&\vdots&\ddots&\vdots\\ \frac{\sigma_{11}}{\sqrt {D_{1}D_{1}}}& \frac{\sigma_{11}}{\sqrt {D_{1}D_{1}}}&\cdots&\frac{\sigma_{11}}{\sqrt {D_{1}D_{1}}}\\ \end{bmatrix}$
3.关于由协方差矩阵或相关矩阵出发求解主成分
$\\$
求解主成分的过程实际就是对矩阵结构进行分析的过程，也就是求解特征值的过程。在实际分析过程中，我们既可以从协方差矩阵出发，也可以从相关矩阵出发，其求主成分的过程是一致的。但是从协方差出发和从相关矩阵出发所求得的主成分一般是有差别的。
3.1以从协方差出发求解主成分为例，给出求解主成分的步骤
先求 $\Sigma$ 的特征向量和特征值,matlab代码为

[u,v]=eig(S) &matlab不支持希腊字母，故用拉丁字母S代表Σ

其中u为由特征向量组成的矩阵，v为特征值组成的对角矩阵
u的表达式为
$u=\begin{bmatrix} u_{11}&u_{12}&\cdots&u_{1p}\\ u_{11}&u_{12}&\cdots&u_{1p}\\ \vdots&\vdots&\ddots&\vdots\\ u_{p1}&u_{p2}&\cdots&u_{pp} \end{bmatrix}$
v的矩阵为
$v=\begin{bmatrix} \lambda_1&0&\cdots&0\\ 0&\lambda_2&\cdots&0\\ \vdots&\vdots&\ddots&\vdots\\ 0&0&\cdots&\lambda_p \end{bmatrix}$
其中 $\lambda_1$ , $\lambda_2$ , $\cdots$ , $\lambda_p$ 为协方差矩阵 $\Sigma$ 的特征值，将其依大小顺序排列，不妨设 $\lambda_1$ $\geqslant$ $\lambda_2$ $\geqslant$ $\cdots$ $\geqslant$ $\lambda_p$ , $\gamma_1$ , $\gamma_2$ , $\cdots$ , $\gamma_p$ 为矩阵 $\Sigma$ 各特征值对应的标准正交特征向量，则第 $i$ 个主成分为：
$Y_i$ = $\gamma_{1i}$ $a_1$ + $\gamma_{2i}$ $a_2$ + $\cdots$ + $\gamma_{pi}$ $a_p$ ，（ $i$ =1,2, $\cdots$ , $p$ ），此 $\gamma$ 代表的意义与 $u$ 相同
$Y$ 的表达式为
$Y$ = $\begin{bmatrix} Y_1&Y_2&\cdots&Y_p\\ \end{bmatrix}$ =A * $u$ =
$\\$
$\begin{pmatrix} x_{11}-\mu_1& x_{12}-\mu_2 &\cdots& x_{1p}-\mu_p \\ x_{21}-\mu_1 & x_{22}-\mu_2& \cdots &x_{2p}-\mu_p \\ \vdots&\vdots&\ddots&\vdots\\ x_{p1}-\mu_1 & x_{p2}-\mu_2& \cdots&x_{pp}-\mu_p \\ \end{pmatrix}$ * $\begin{bmatrix} u_{11}&u_{12}&\cdots&u_{1p}\\ u_{21}&u_{22}&\cdots&u_{1p}\\ \vdots&\vdots&\ddots&\vdots\\ u_{p1}&u_{p2}&\cdots&u_{pp} \end{bmatrix}$
用方程组表示为
$\left\{ \begin{array}{} Y_1=a_1 u_{11}+a_2u_{21}+\cdots+a_pu_{p1}\\ Y_2=a_1 u_{12}+a_2u_{22}+\cdots+a_pu_{p2}\\ \vdots\\ Y_p=a_1 u_{1p}+a_2u_{2p}+\cdots+a_pu_{p} \end{array} \right.$

若由相关矩阵求主成分，则
从3.1步开始改变，用相关系数矩阵代表协方差矩阵，求取特征向量和特征值。设得到的特征向量和特征值分别为 $u_1$ 和 $v_1$ , $Y$ 的表达式为：
$Y^*=\begin{bmatrix} Y_1^*&Y_2^*&\cdots&Y_p^*\\ \end{bmatrix}=B*v_1=$
$\\$
$\begin{pmatrix} \frac{X_{11}-\mu_1}{{\sqrt {D_1}}} & \frac{X_{12}-\mu_2}{{\sqrt {D_2}}} &\cdots& \frac{X_{1p}-\mu_p}{{\sqrt {D_p}}} \\ \frac{X_{21}-\mu_1}{{\sqrt {D_1}}} & \frac{X_{22}-\mu_2}{{\sqrt {D_2}}} &\cdots& \frac{X_{2p}-\mu_p}{{\sqrt {D_p}}} \\ \vdots&\vdots&\ddots&\vdots\\ \frac{X_{p1}-\mu_1}{{\sqrt {D_1}}} & \frac{X_{p2}-\mu_2}{{\sqrt {D_2}}} &\cdots& \frac{X_{pp}-\mu_p}{{\sqrt {D_p}}} \\ \end{pmatrix}* \begin{bmatrix} v_{11}&v_{12}&\cdots&v_{1p}\\ v_{21}&v_{22}&\cdots&v_{1p}\\ \vdots&\vdots&\ddots&\vdots\\ v_{p1}&v_{p2}&\cdots&v_{pp} \end{bmatrix}$
用方程组表示为
$\left\{ \begin{array}{} Y_1^*=b_1 v_{11}+b_2v_{21}+\cdots+b_pv_{p1}\\ Y_2^*=b_1 v_{12}+b_2v_{22}+\cdots+b_pv_{p2}\\ \vdots\\ Y_p^*=b_1 v_{1p}+b_2v_{2p}+\cdots+b_pv_{p} \end{array} \right.$
$\\$
4.接下来是实际例子
4.1假定我们研究某一经济问题共涉及两个指标：产值和利税。其中产值以百万计，利税以万元计，得原始资料矩阵如下：
$X=\begin{bmatrix} 12.5&586\\ 24&754\\ 15.3&850\\ 18&667\\ 31.2&750 \end{bmatrix}$
可以得到原始变量的协方差矩阵与相关阵分别为
$\Sigma=\begin{bmatrix} 55.9&242.7\\ 242.7&9927.8 \end{bmatrix},R=\begin{bmatrix} 1&0.3257\\ 0.3257&1 \end{bmatrix}$
由协方差阵出发求解主成分，得到结果如下表

[u,v]=eig(S) &matlab不支持希腊字母，故用拉丁字母S代表Σ

$u=\begin{bmatrix} -0.997&0.0246\\ 0.0246&0.997\\ \end{bmatrix},v=\begin{bmatrix} 49.9&0\\ 0&9933.76 \end{bmatrix}$
4.2因此所得的主成分的表达式为
$\begin{array}{} Y_1^*=0.0246( x-\mu_1)+0.997(x-\mu_2)\\ Y_2^*=-0.9997( x-\mu_1)+0.0246(x-\mu_2)\\ \end{array}$
$a, b, c, d, e, f, g, h, i, j, k, l, m, n, o, p, q, r, s, t, u, v, w, x, y, z$
$\overline{a}\overline{a}$ = $\overline{aa}$
$\widehat{a}$ $\widehat{a}$
$\widetilde{a}\widetilde{a}$