主成分分析(PCA)

最新推荐文章于 2025-03-05 19:18:27 发布

blinkyou001

最新推荐文章于 2025-03-05 19:18:27 发布

阅读量1.5w

点赞数 23

文章标签：机器学习主成分分析 PCA

本文链接：https://blog.csdn.net/blinkyou001/article/details/140991777

版权

1 主成分分析简介

主成分分析（Principal Component Analysis，PCA），将多个变量通过线性变换以选出较少个数重要变量的一种多元统计分析方法。主成分分析是由卡尔·皮尔逊(Karl Pearson)于1901年发明的。通过维度约减的方式将高维度空间的数据映射到低维度空间的数据。

2 主成分分析基本原理

2.1 线性变换

主成分分析的核心思想是通过将原数据的维度进行线性变换得到一组新的数据维度（主成分）。这组新的数据维度称为主成分。主成分之间线性无关，主成分实际构建了数据新的特征维度，在该特征维度下，数据的维度可能进行了压降，数据的运算会变得更加容易。

有n个p维的样本，构成样本矩阵

$X=\begin{bmatrix} x_{11} &x_{12} &... & x_{1n}\\ x_{21} &x_{22} &... & x_{2n} \\ .& .&... & . \\ x_{p1} &x_{p2} &... & x_{pn} \end{bmatrix}=\begin{bmatrix} x_{1}\\ x_{2} \\ ... \\ x_{p} \end{bmatrix}$

假设有一组向量（数据）可以通过 $x_{1},x_{2},...,x_{p}$ 线性表达

$\left\{\begin{matrix} y_{1}=a_{11}x_{1}+a_{12}x_{2}+...+a_{1p}x_{p}\\ y_{2}=a_{21}x_{1}+a_{22}x_{2}+...+a_{2p}x_{p} \\ ... \\ y_{m}=a_{m1}x_{1}+a_{m2}x_{2}+...+a_{mp}x_{p} \end{matrix}\right.$

当选择合适的系数，会构建满足条件的新的特征维度 $y_{1},y_{2},...,y_{m}$ ，记 $Y=\begin{bmatrix} y_{1}\\ y_{2} \\ ... \\ y_{m} \end{bmatrix}$ 。

记上述变换为 $Y=AX$ ，

其中 $A=\begin{bmatrix} a_{11} & a_{12} &... &a_{1p} \\ a_{21}&_{22} & ...&a_{2p} \\ .& .& .& .\\ a_{m1}& a_{m2}& ...&a_{mp} \end{bmatrix}$ 。

在构建主成分时，要求 $y_{i},y_{j}(i\neq j)$ 之间线性无关，且在 $i<j$ 时， $X$ 在主成分 $y_{i}$ 上投影的方差大于在主成分 $y_{j}$ 上的投影的方差。如此，数据 $X$ 在主成分上进行了“分解”，且依据数据信息量的程度将主成分进行了区分和排序。当 $m<p$ 时，实现了对数据的降维操作。