PCA的数学原理

最新推荐文章于 2022-08-08 19:00:09 发布
最新推荐文章于 2022-08-08 19:00:09 发布
阅读量697 收藏
点赞数
分类专栏： 机器学习
志在-必得
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
PCA数学原理
07-31
该数学原理，适合初学者，学习使用，也可以简单的了解PCA原理
PCA（主成分分析）的数学原理(之前一门课程写的报告,现在发上来...)
lovemylife1234的博客
05-04 1988
1.背景介绍 一般情况下，在数据挖掘和机器学习等数据分析领域中，数据都被表示为向量。众所周知，很多机器学习算法的复杂度和数据的维数有着密切关系，甚至与数据维数呈指数级别关联。然而实际机器学习中处理的数据可达成千上万甚至几十万维，在这种情况下，算法的资源消耗是不可接受的，因此我们必须对数据进行降维。PCA（Principal Component Analysis），即所谓的主成分分析，...
PCA原理详解
我的blog屋
04-09 2793
声明： 参考：PCA数学原理、维基百科 PCA——主成分分析 简介 PCA全称Principal Component Analysis，即主成分分析，是一种常用的数据降维方法。它可以通过线性变换将原始数据变换为一组各维度线性无关的表示，以此来提取数据的主要线性分量。 z=wTxz=wTxz=wTxz=wTxz = w^Txz=wTxz=wTxz=wTxz=wTx   其中，z为低维矩阵，x为...
数学基础（三）PCA原理与推导
Billie使劲学的博客
08-08 1231
u向量的方向已经确定，我们将样本点映射到u向量上，显然右图的误差要比左图大许多，因此我们就需要先对样本进行中心化，使之分布于原点O附近。即计算所有样本点的均值（x的均值，y的均值），然后将每个样本点减去这个均值，就得到了中心化之后的样本。......
PCA转载，好文章
u012911391的专栏
07-07 532
原文http://blog.codinglabs.org/articles/pca-tutorial.html 根据上面对PCA的数学原理的解释，我们可以了解到一些PCA的能力和限制。PCA本质上是将方差最大的方向作为主要特征，并且在各个正交方向上将数据“离相关”，也就是让它们在不同正交方向上没有相关性。 因此，PCA也存在一些限制，例如它可以很好的解除线性相关，但是对于高阶相关性
PCA数学原理详解
06-16
PCA是一种常用的数据降维方法，这里具体介绍了它的降维原理即降维的数学原理，通过这个学习我们能更好的了解PCA
pca的数学原理
03-08
如果你想学习pca，这个请不要错过
PCA数学推导过程
03-19
PCA降维过程的数学简单推导
机器学习数学基础之矩阵视频教学
08-05
本课程囊括了机器学习理论中所需要的和线性代数相关的所有知识。帮助想入门机器学习的朋友们快速掌握数学基础。 主要内容：1. 矩阵的定义、性质、运算、分解以及应用。2. 线性空间、范数、生成子空间相关知识。
PCA 数学原理 详解（带图，超详细）
叔于田蒸蒸的博客
07-27 7353
见链接 ： https://wenku.baidu.com/view/8fdc079ac850ad02df804148.html
PCA数学原理解析
qq_34355221的博客
10-14 248
PCA主成分分析，主要用于多维数据的降维。 降维当然意味着信息的丢失，不过鉴于实际数据 本身常常存在的相关性，我们可以想办法在降维的同时将信息的损失尽量降低。 PCA算法的主要步骤： 1、每一行为一个字段，每一列为一个数据 2、均值为零，使得协方差矩阵的主对角线上的数为n个维度各自对应的方差 3、协方差矩阵为实对称矩阵，所以可以相似对角化 4、协方差矩阵不同特征值对应的特征向量必然正交，r重特...
主成分分析（PCA）原理详解
热门推荐
李春春的专栏
03-04 46万+
机器学习中有关特征选择的问题，其实就是要剔除和类标签无关的特征，去除噪声或者冗余。在这种情况下，需要一种特征降维的方法来减少特征数，减少噪音和冗余，减少过度拟合的可能性。PCA的思想是将n维特征映射到k维上（k<n），这k维是全新的正交特征。这k维特征称为主成分，是重新构造出来的k维特征，而不是简单地从n维特征中去除其余n-k维特征。现在的问题是，对于很高维数据，你能想象其分布吗？就算能描述分布，如何精确地找到这些主成分的轴？如何衡量你提取的主成分到底占了整个数据的多少信息？所以，我们就要用到主成分分析的处
PCA的数学原理推导
道路，愿景与目标。
05-09 5099
PCA的数学推导 PCA（Principle Component Analysis）是一种可以将高维度数据降为低维度数据的机器学习算法。通过降维，可以有节省存储空间，数据可视化等优点。之前在Coursera上Andrew Ng的机器学习时了解到此算法，但是那个课只涉及了实现，并未阐述其背后的数学原理。之后在Coursera上又找到一门专门讲PCA数学原理的课程，才借此了解些许其中的数学原理，在此...
主成分分析（PCA）的数学原理理解
福尔摩睿的工作站
09-05 1880
以前草草地看过主成分分析的原理，一直没能好好从根上过一遍PCA的数学原理，最近抽空推了一遍PCA，这里把其原理具体说一说，本文尽量不涉及数学公式推导，尽量引导读者轻松的、感性地理解PCA的原理。主成分分析的总体思路主成分分析的总体思路是找出若干维度的特征中最具代表性的几个特征。这里的“最具代表性“即指最能表征所有样本的独特性的、最具区分度的特征，即特征内样本点的方差尽可能大。通过主成分分析进行数据降
PCA变换的数学原理推导
最新发布
05-16
PCA（Principal Component Analysis，主成分分析）是一种基于线性代数的数据降维算法。其目的是通过将原始数据映射到新的坐标系上，使得数据在新的坐标系下的方差最大，从而找到数据的主要特征。下面是PCA的数学原理推导： 假设有样本集 $X=\{ x_1,x_2,\cdots,x_n \}$，其中每个样本 $x_i \in \mathbb{R}^d$，现在我们希望将原始数据映射到一个新的坐标系上，使得数据在新的坐标系下的方差最大。设新的坐标系为 $\{ w_1,w_2,\cdots,w_d \}$，其中每个 $w_i$ 是一个长度为 $d$ 的向量。 首先，我们需要对原始数据进行中心化，即将每个样本减去均值，得到新的样本集 $X'=\{ x_1',x_2',\cdots,x_n' \}$，其中 $x_i' = x_i - \frac{1}{n}\sum_{j=1}^n x_j$。 接下来，我们需要找到一个向量 $w_1$，使得将样本 $X'$ 投影到 $w_1$ 上的方差最大。具体来说，对于每个样本 $x_i'$，它在 $w_1$ 上的投影为 $x_i' \cdot w_1$，则样本集 $X'$ 在 $w_1$ 方向上的方差为： $$ \begin{aligned} \mathrm{Var}(X'w_1) &= \frac{1}{n} \sum_{i=1}^n (x_i' \cdot w_1 - \bar{x}' \cdot w_1)^2 \\ &= \frac{1}{n} \sum_{i=1}^n [(x_i' - \bar{x}') \cdot w_1]^2 \\ &= \frac{1}{n} \sum_{i=1}^n (w_1^T(x_i' - \bar{x}'))^2 \\ &= \frac{1}{n} \sum_{i=1}^n w_1^T(x_i' - \bar{x}')(x_i' - \bar{x}')^Tw_1 \\ &= w_1^T\left(\frac{1}{n} \sum_{i=1}^n (x_i' - \bar{x}')(x_i' - \bar{x}')^T\right)w_1 \\ &= w_1^TSw_1 \end{aligned} $$ 其中，$\bar{x}'$ 是样本集 $X'$ 的均值向量，$S$ 是样本集 $X'$ 的协方差矩阵，$w_1$ 是一个单位向量。根据上述式子，我们可以看出，$w_1$ 的方向与样本集 $X'$ 的协方差矩阵 $S$ 的主特征向量相同，因为 $w_1$ 的方向确定后，$\mathrm{Var}(X'w_1)$ 就只与 $S$ 的特征值有关，而特征值最大的方向就是协方差矩阵 $S$ 的主特征向量。 因此，我们可以通过求解样本集 $X'$ 的协方差矩阵 $S$ 的特征值和特征向量，找到 $w_1$ 的方向。具体来说，设 $S$ 的特征值和特征向量分别为 $\lambda_1,\lambda_2,\cdots,\lambda_d$ 和 $v_1,v_2,\cdots,v_d$，则 $w_1$ 的方向为 $v_1$。 接着，我们需要找到下一个向量 $w_2$，使得它与 $w_1$ 垂直，并且将样本集 $X'$ 投影到 $w_1$ 和 $w_2$ 构成的平面上的方差最大。具体来说，对于每个样本 $x_i'$，它在 $w_1$ 和 $w_2$ 构成的平面上的投影为 $(x_i' \cdot w_1, x_i' \cdot w_2)$，则样本集 $X'$ 在 $w_1$ 和 $w_2$ 构成的平面上的方差为： $$ \begin{aligned} \mathrm{Var}(X'w_1w_2) &= \frac{1}{n} \sum_{i=1}^n (x_i' \cdot w_1 - \bar{x}' \cdot w_1)^2 + (x_i' \cdot w_2 - \bar{x}' \cdot w_2)^2 \\ &= \frac{1}{n} \sum_{i=1}^n [(x_i' - \bar{x}') \cdot w_1]^2 + [(x_i' - \bar{x}') \cdot w_2]^2 \\ &= \frac{1}{n} \sum_{i=1}^n (w_1^T(x_i' - \bar{x}'))^2 + (w_2^T(x_i' - \bar{x}'))^2 \\ &= w_1^T\left(\frac{1}{n} \sum_{i=1}^n (x_i' - \bar{x}')(x_i' - \bar{x}')^T\right)w_1 + w_2^T\left(\frac{1}{n} \sum_{i=1}^n (x_i' - \bar{x}')(x_i' - \bar{x}')^T\right)w_2 \\ &= w_1^TSw_1 + w_2^TSw_2 \end{aligned} $$ 由于 $w_1$ 已经确定，因此我们只需要找到一个与 $w_1$ 垂直的向量 $w_2$，使得 $\mathrm{Var}(X'w_1w_2)$ 最大。我们可以通过最大化 $w_2^TSw_2$ 来实现这一点。 具体来说，我们可以定义一个投影矩阵 $P = \begin{bmatrix} w_1 & w_2 \end{bmatrix}$，将样本集 $X'$ 投影到 $w_1$ 和 $w_2$ 构成的平面上，得到新的样本集 $Y = \{ y_1,y_2,\cdots,y_n \}$，其中 $y_i = P^Tx_i'$。则样本集 $Y$ 的协方差矩阵为 $S_Y = \frac{1}{n}YY^T$。我们需要找到一个单位向量 $w_2$，使得 $w_2^TS_Yw_2$ 最大。根据拉格朗日乘数法，可以得到： $$ S_Yw_2 = \lambda w_2 $$ 其中，$\lambda$ 是 $S_Y$ 的特征值。因此，$w_2$ 的方向与 $S_Y$ 的主特征向量相同。由于 $S_Y$ 是对称矩阵，$w_1$ 和 $w_2$ 的方向就是 $S_Y$ 的前两个主特征向量。以此类推，我们可以找到 $d$ 个主成分，从而将原始数据映射到 $d$ 维空间中。 总结一下，PCA 的步骤如下： 1. 对原始数据进行中心化，得到新的样本集 $X'$。 2. 求解样本集 $X'$ 的协方差矩阵 $S$ 的特征值和特征向量。 3. 选择前 $d$ 个特征向量，构成新的坐标系 $\{ w_1,w_2,\cdots,w_d \}$。 4. 将样本集 $X'$ 投影到新的坐标系上，得到新的样本集 $Y$。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值