PCA算法的详细数学推导

最新推荐文章于 2024-04-16 20:00:57 发布

置顶

DZF_zuishuai

最新推荐文章于 2024-04-16 20:00:57 发布

阅读量4.4k

点赞数 7

文章标签：机器学习降维特征提取

本文链接：https://blog.csdn.net/DZF_zuishuai/article/details/87494455

版权

PCA（主成分分析）是一种常用的降维方法，通过寻找正交基底最大化方差来实现特征提取。数学推导中，PCA首先对数据进行去中心化处理，然后构建协方差矩阵并求解其特征向量，对应特征值最大的向量作为第一主成分。通过依次求解正交的特征向量，构建降维后的特征空间。PCA的优化问题涉及最大特征值的寻找，通过拉格朗日乘数法解决。算法步骤包括计算协方差矩阵、求解特征值和特征向量，选取所需降维数目的主成分。PCA可视为线性自动编码器的一种形式。

摘要由CSDN通过智能技术生成

PCA的数学推导

原理介绍

PCA算法是一个用途非常广的降维手段，这种方法其实是一种特征提取方法（feature extraction），是对原始特征进行变化之后的降维压缩，需要注意的是，这并不是特征选择（feature selection）。PCA的基本思想就是，寻找一组正交基底，使得原始数据的空间发生变化，使得在新的空间的各个维度上方差最大化（通常认为，特征方差越大的特征，包含的信息越重要），总体可以概括为：降低特征空间维度；消除原有特征之间的相关度，减少数据信息的冗余。PCA需要解决的问题是，找到一组k维正交基底，使得新的特征内部方差最大，特征间相关程度最小，所以从这个角度上来看，PCA也是一个优化问题，下面的数学推导就将按照优化的步骤进行。

数学推导

假设我们有一个样本集，每个样本的特征为N，样本容量为p，那么我们用一个向量来表示这个样本集，每一个列向量为一个样本，每一行则为一个特征：
$\begin{pmatrix} x_1,x_2,...,x_p \end{pmatrix} = \begin{pmatrix} x_11,x_21,...,x_p1 \\ x_12,x_22,...,x_p2 \\ ......\\ x_{1N},{x_2N},...,{x_pN} \end{pmatrix}$
显然，向量X是一个Np的矩阵，每一个 $x_i$ 为一个N1的矩阵。
我们希望获得一个M个N维分量A，A的形状为M*N，与 $x_i$ 相乘之后，即可将 $x_i$ 变化为一个M维的向量，实现降维的目的：
$\begin{pmatrix} a_1 \\ a_2 \\ ... \\ a_{M} \\ \end{pmatrix}$

其中，每一个 $a_i$ 都是一个1*N维的行向量。接下我们对原始数据进行去中心化处理，这样的目的是为了消除量纲的影响，均值 $\bar{X}$ 的计算如下：
$\bar{X}=\frac 1pb\sum_{i=1}^{p}{x_i}$
最后，我们得到的降维结果为：
$A(X-\bar{X})= \begin{pmatrix} a_1 \\ a_2 \\ ... \\ a_M \\ \end{pmatrix} \begin{pmatrix} x_1,x_2,...,x_p \end{pmatrix}= \begin{pmatrix} a_1(x_1-\bar{X}),a_1(x_2-\bar{X}),...,a_1(x_p-\bar{X}) \\ a_1(x_2-\bar{X}),a_1(x_2-\bar{X}),...,a_1(x_2-\bar{X}) \\ .... \\ a_M(x_1-\bar{X}),a_M(x_2-\bar{X}),...,a_M(x_p-\bar{X}) \\ \end{pmatrix}$

最低0.47元/天解锁文章

DZF_zuishuai

关注

7
点赞
踩
33

收藏

觉得还不错? 一键收藏
0
评论
PCA算法的详细数学推导

PCA的数学推导原理介绍PCA算法是一个用途非常广的降维手段，这种方法其实是一种特征提取方法（feature extraction），是对原始特征进行变化之后的降维压缩，需要注意的是，这并不是特征选择（feature selection）。PCA的基本思想就是，寻找一组正交基底，使得原始数据的空间发生变化，使得在新的空间的各个维度上方差最大化（通常认为，特征方差越大的特征，包含的信息越重要），...
复制链接

扫一扫