二维数据集，PCA求解第一主成分和第二主成分示例_试求变量z1,z2,z3,z4,z5和z6第一主成分与第二主成份-CSDN博客

本文链接：https://blog.csdn.net/u013172930/article/details/143830916

主成分分析（Principal Component Analysis, PCA）是一种常用的降维方法，它通过线性变换将高维数据投影到一个新的坐标系中，使得数据在每个新坐标轴上的方差依次递减。本文以一个二维数据集为例，完整展示如何通过PCA求解第一主成分和第二主成分。

假设我们有以下二维数据集：

$\begin{bmatrix} 2 & 4 \\ 3 & 3 \\ 4 & 2 \\ 5 & 5 \end{bmatrix}$

其中：

我们的目标是通过PCA找出数据的第一主成分和第二主成分方向，并计算投影后的数据值。

PCA的第一步是对数据进行中心化处理，使得每个特征的均值为0。

计算特征均值：
$\mu_1 = \frac{2 + 3 + 4 + 5}{4} = 3.5, \quad \mu_2 = \frac{4 + 3 + 2 + 5}{4} = 3.5$
将每个样本减去均值：
$X_{\text{centered}} = X - \mu = \begin{bmatrix} 2 - 3.5 & 4 - 3.5 \\ 3 - 3.5 & 3 - 3.5 \\ 4 - 3.5 & 2 - 3.5 \\ 5 - 3.5 & 5 - 3.5 \end{bmatrix} = \begin{bmatrix} -1.5 & 0.5 \\ -0.5 & -0.5 \\ 0.5 & -1.5 \\ 1.5 & 1.5 \end{bmatrix}$

协方差矩阵描述了特征之间的相关性，用以下公式计算：
$\Sigma = \frac{1}{n-1} X_{\text{centered}}^T X_{\text{centered}}$

计算 $X_{\text{centered}}^T$ ：
$X_{\text{centered}}^T = \begin{bmatrix} -1.5 & -0.5 & 0.5 & 1.5 \\ 0.5 & -0.5 & -1.5 & 1.5 \end{bmatrix}$
计算矩阵乘积 $X_{\text{centered}}^T X_{\text{centered}}$ ：
$X_{\text{centered}}^T X_{\text{centered}} = \begin{bmatrix} 5 & -2 \\ -2 & 5 \end{bmatrix}$
计算协方差矩阵：
$\Sigma = \frac{1}{3} \begin{bmatrix} 5 & -2 \\ -2 & 5 \end{bmatrix} = \begin{bmatrix} 1.67 & -0.67 \\ -0.67 & 1.67 \end{bmatrix}$

协方差矩阵的特征值和特征向量决定了主成分的方向和方差大小。

特征值的计算公式为：
$\det(\Sigma - \lambda I) = 0$

代入 $\Sigma$ 和单位矩阵 $I$ ：
$\det \begin{bmatrix} 1.67 - \lambda & -0.67 \\ -0.67 & 1.67 - \lambda \end{bmatrix} = 0$
计算行列式：
$\lambda)^2 - (-0.67)(-0.67) = 0$
$\lambda)^2 = 0.4489$
$\lambda = \pm 0.67$
解得特征值：
$\lambda_1 = 2.34, \quad \lambda_2 = 1.00$

对应于特征值 $\lambda_1 = 2.34$ ：
$(\Sigma - \lambda_1 I)a = 0$
解得特征向量：
$a_1 = \begin{bmatrix} -1 \\ 1 \end{bmatrix}$
归一化后：
$a_1 = \frac{1}{\sqrt{2}} \begin{bmatrix} -1 \\ 1 \end{bmatrix}$
对应于特征值 $\lambda_2 = 1.00$ ：
解得特征向量：
$a_2 = \begin{bmatrix} 1 \\ 1 \end{bmatrix}$
归一化后：
$a_2 = \frac{1}{\sqrt{2}} \begin{bmatrix} 1 \\ 1 \end{bmatrix}$

第一主成分方向：
$a_1 = \frac{1}{\sqrt{2}} \begin{bmatrix} -1 \\ 1 \end{bmatrix}, \quad \lambda_1 = 2.34$
第二主成分方向：
$a_2 = \frac{1}{\sqrt{2}} \begin{bmatrix} 1 \\ 1 \end{bmatrix}, \quad \lambda_2 = 1.00$

将数据投影到主成分方向，计算每个样本的投影值。

$y_i = X_{\text{centered}} a_i$

投影到第一主成分：
$y_1 = \frac{1}{\sqrt{2}} \begin{bmatrix} -1.5 & 0.5 \\ -0.5 & -0.5 \\ 0.5 & -1.5 \\ 1.5 & 1.5 \end{bmatrix} \begin{bmatrix} -1 \\ 1 \end{bmatrix} = \frac{1}{\sqrt{2}} \begin{bmatrix} \sqrt{2} \\ 0 \\ -\sqrt{2} \\ 0 \end{bmatrix}$

结果：
$y_1 = \begin{bmatrix} \sqrt{2} \\ 0 \\ -\sqrt{2} \\ 0 \end{bmatrix}$
投影到第二主成分：
$y_2 = \frac{1}{\sqrt{2}} \begin{bmatrix} -1.5 & 0.5 \\ -0.5 & -0.5 \\ 0.5 & -1.5 \\ 1.5 & 1.5 \end{bmatrix} \begin{bmatrix} 1 \\ 1 \end{bmatrix} = \frac{1}{\sqrt{2}} \begin{bmatrix} -1 \\ -1 \\ -1 \\ 3 \end{bmatrix}$

结果：
$y_2 = \begin{bmatrix} -\sqrt{2} \\ -\sqrt{2} \\ -\sqrt{2} \\ 3\sqrt{2} \end{bmatrix}$

第一主成分方向：
$a_1 = \frac{1}{\sqrt{2}} \begin{bmatrix} -1 \\ 1 \end{bmatrix}, \quad \lambda_1 = 2.34$
第二主成分方向：
$a_2 = \frac{1}{\sqrt {2}} \begin{bmatrix} 1 \\ 1 \end{bmatrix}, \quad \lambda_2 = 1.00$
投影后的数据：
$\begin{bmatrix} y_1 & y_2 \end{bmatrix} = \begin{bmatrix} \sqrt{2} & -\sqrt{2} \\ 0 & -\sqrt{2} \\ -\sqrt{2} & -\sqrt{2} \\ 0 & 3\sqrt{2} \end{bmatrix}$