PCA公式推导

最新推荐文章于 2024-04-07 10:28:37 发布
VIP文章 最新推荐文章于 2024-04-07 10:28:37 发布
阅读量2.1k 收藏 18
点赞数 3
文章标签： 线性代数 机器学习 概率论
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46716894/article/details/120789304
版权

PCA公式推导

文章目录

PCA目的与原理

PCA可以实现在维度较多的时候的降维的功能，并且能在降维的过程中最大的保留原来的变量的所有信息。实现的思路是，对于现存的m维数据，找到k（k<m）维数据来对其进行代替，目标是尽可能减少信息的损失。为了更加直观的认识，我们以二维的数据为例。如下图，存在蓝色的一些数据点，我们希望找到一个比二维维度更低(这里就是这条一维的直线),并且可以用这个维度得到评价指标的相应的值。举例来说，PCA的目的就是，对于一个点，如图中的x1
在这里插入图片描述

找到一个方向为u的直线，使得x1 到直线的距离 d1尽可能的小，并且可以用d2 来表示x1 的信息。当维度增加的时候，我们不能直观的获取这个 d1，而我们发现这样的直线可以满足在投影之后，样本点的分布尽量的分散，并且在数学中常用方差来衡量样本之间的距离。因此在求解的时候，使用变化后让每个特征内部方差最大化的思想来进行求解。
另外，在实际使用PCA的时候需要注意，要对数据进行标准化，如果维度之间的量纲差异过大，需要对数据进行归一化，这样有利于提升计算的效率。

PCA使用说明

在实际使用PCA的时候，只要这样几个步骤就可以了。
1）先按照数据的特点，对数据进行标准化和归一化的处理。根据数据点计算协方差矩阵。
2）求出协方差矩阵的特征值以及对应的特征向量
3）将特征向量按照对应的特征值大小从上到下按行排列成矩阵，取前k行形成矩阵P
4）Y = PX即为降维到k维后的数据
那么为什么可以这样做呢？我们可以看第三个部分PCA的公式推导来进行理解。

PCA公式推导

在这里插入图片描述

最低0.47元/天 解锁文章
小野堂
关注
  • 3
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PCA详细推导
08-10
PCA，主成分分析，详细推导。
PCA（主成分分析）-------原理，推导，步骤、实例、代码
热门推荐
xxty1122的博客
04-09 6万+
最近一直在学习主成分分析（PCA），所以想把最近学的一点知识整理一下，如果有不对的还请大家帮忙指正，共同学习。一、PCA简介1.概念：主成分分析是一种统计方法，通过正交变换将一组可能存在相关性的变量转换成一组线性不相关的变量，转换后的这组变量叫主成分。2.思想：PCA的思想是将n维特征映射到m维上（m&lt;n），这m维是全新的正交特征，称为主成分，这m维的特征是重新构造出来的，不是简单的从n维特...
PCA（Principal Component Analysis，主成分分析）的数学公式
最新发布
qlkaicx的博客
04-07 1668
在PCA的数学原理中，假设原始数据集为X，是一个n×m的矩阵，表示n个样本的m个特征。新的基向量为V，由前k个特征向量组成，是一个m×k的矩阵。降维后的数据集为Y，是一个n×k的矩阵。PCA的降维过程可以通过以下公式表示：Y=XV这个公式表示将原始数据集X通过新的基向量V进行线性变换，得到降维后的数据集Y。其中，Y的每个样本都是原始样本在新基向量空间中的坐标表示，而新基向量则是根据协方差矩阵的特征值和特征向量选择得到的，能够最好地表示原始数据的主要变化方向。
主成分分析（principal component analysis, PCA）公式
kdazhe的博客
03-15 1万+
主成分分析（principal component analysis, PCA）公式主成分分析什么是主成分求解 PCA 的公式数学证明程序验证参考文献 主成分分析 什么是主成分 要进行主成分分析（principal component analysis），我们首先要理解什么是主成分。假设我们的数据（红色的点）如下图所示。 我们看到，每一个红色的点都有两个坐标，(x, y)(x, \, y)(x,...
【机器学习】【PCA-1】PCA基本原理和原理推导 + PCA计算步骤讲解 + PCA实例展示数学求解过程
蔚蓝的天空Tom
05-26 2万+
1.PCA主成分分析原理2.PCA流程3.PCA实例讲解(end)
PCA数学推导过程
03-19
PCA降维过程的数学简单推导
pca公式推导
sinat_41132860的博客
10-04 467
链接 https://www.youtube.com/watch?v=G2NRnh7W4NQ&amp;index=2&amp;list=PLt0SBi1p7xrRKE2us8doqryRou6eDYEOy  视频中还讲了kernal PCA的推导
PCA推导
cd651的博客
11-20 291
虽然PCA是最常用的最基础的算法，但总是不清楚PCA的具体原理。 大神讲解传送带 实际上等价的那个地方有一点问题，就是W‘X的每一行并没有中心化，所以其乘以转置对角线上的元素似乎不是某一行的方差 ...
算法公式推导——PCA
sunqin的博客
06-13 952
主成分分析（Principle Component Analysis，PCA）算法公式推导： 1，算法定义 算法输入：一堆点集 X=[x1,x2,...,xm]，其中xi∈Rn,  i=1,2,...,m\mathbf{X} = [x_1, x_2, ...,x_m]，其中x_i \in \mathbb{R}^n, ~~i = 1,2,...,mX=[x1​,x2​,...,xm​]，其中xi​∈Rn,  i=1,2,...,m 算法输出： 一堆主向量 z1,z2,.
PCA算法推导
crazy_scott的博客
05-26 1827
PCA理解与应用。 Motivation PCA与Factor analysis非常相似，都是主要用于reduction data dimensions。但PCA的想法相比于Factor analysis更简单，实现起来也更加直观和容易（只需要算特征值）。 PCA tries to identify the subspace in which the data approximately li...
PCA降维算法讲解和公式推导
08-21
思路超清晰的PCA算法讲解笔记
PCA算法推导过程及案例分析
10-17
即主成分分析技术，又称主分量分析。主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。
Python机器学习模型公式推导 笔记
07-18
手写笔记ptf格式，模型包括：线性回归、逻辑回归、支持向量机、KNN、Kmeans、BP神经网络、PCA、聚类算法等
机器学习入门 — LDA与PCA算法（公式推导、纯python代码实现、scikit-learn api调用对比结果）
12-21
为什么要做降维： 提高计算效率 留存有用的特征，为后续建模使用 在项目中实际拿到的数据，可能会有几百个维度（特征）的数据集，这样的数据集在建模使用时，非常消耗计算资源，所以需要通过使用降维方法来优化数据...
机器学习常用算法公式推导与分析1
08-08
1.PCA降维的公式及原理分析:假设对称矩阵A的所有特征值都不一样，那么: -> 对角矩阵对于矩阵Y，它的协方差假设Y=QX（此时不考虑降维），则 = = PC
PCA算法的详细数学推导
DZF_zuishuai的博客
02-17 4321
PCA的数学推导 原理介绍 PCA算法是一个用途非常广的降维手段，这种方法其实是一种特征提取方法（feature extraction），是对原始特征进行变化之后的降维压缩，需要注意的是，这并不是特征选择（feature selection）。PCA的基本思想就是，寻找一组正交基底，使得原始数据的空间发生变化，使得在新的空间的各个维度上方差最大化（通常认为，特征方差越大的特征，包含的信息越重要），...
PCA理论推导
Xafter0的博客
04-17 324
令 \(X=\left[ \begin{matrix}x_1 & \cdots& x_N\end{matrix}\right]\in R^{D\times N}\)是一个给定的待降维的数据集，由\(X\)中的元素可以张成\(R^D\)中的一个子空间\(S=span \{x_1,\cdots,x_n\}\),在\(S\)中寻找一个\(d\)维子空间 \(U\),假设\(U\) 的...
PCA的数学公式推导
qq_36855981的博客
11-30 1265
这个主要还是学的Andrew Ng的CS229课程，查阅了其他的很多资料，勉强理解了其中的思路；与诸位分享一下；首先假设数据X已经做过白化处理（白化是一个很简单的过程，这里不做赘述）； 那么PCA的目的就是找到一组正交基，使得数据X的方差尽可能的大； 即: max((X^T * U)^2); U为线性变换的正交基; (X^T * U)^2 = (U^T * X)*(X^T * U) = U^T*(X
详细推导PCA算法（包括算法推导必备的知识）
渣渣屋
10-28 2120
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录1. PCA优化目标2.理论依据2.1 矩阵换基底2.2 拉格朗日乘子法2.3 协方差矩阵2.4 特征向量和奇异值分解2.4.1 特征向量奇异值分解2.4.3 特征向量和奇异值分解的关系3 PCA3.1 PCA推导3.2 PCA过程总结 前言 该文章转载自 https://blog.csdn.net/QQ2627866800/article/details/86656237 自己做了点修订 1. PCA优化目标 用较少特征地数据
kernel PCA的推导过程
06-03
Kernel PCA（核主成分分析）是一种非线性的主成分分析方法，它通过将数据映射到高维空间，利用线性PCA方法对映射后的数据进行处理，得到非线性的主成分分析结果。 下面是Kernel PCA的推导过程： 假设我们有一个包含n个样本的数据集$X=\{x_1,x_2,...,x_n\}$，每个样本$x_i$有d个特征。我们的目标是将数据集X映射到一个m维的特征空间，其中m<d。 首先，我们定义一个核函数$K(x_i,x_j)$，它可以将两个样本映射到高维空间中的内积。常用的核函数有线性核函数、多项式核函数、高斯核函数等。 然后，我们定义一个中心化矩阵K，其中$K_{ij}=K(x_i,x_j)-\frac{1}{n}\sum_{k=1}^nK(x_i,x_k)-\frac{1}{n}\sum_{k=1}^nK(x_j,x_k)+\frac{1}{n^2}\sum_{k=1}^n\sum_{l=1}^nK(x_k,x_l)$。这个矩阵可以看作是样本之间的相似度矩阵，同时也是一个半正定矩阵。 接着，我们对中心化矩阵K进行特征值分解，得到特征值$\lambda_1,\lambda_2,...,\lambda_n$和对应的特征向量$\phi_1,\phi_2,...,\phi_n$。其中，特征向量$\phi_i$是映射到高维空间中的第i个主成分。 最后，我们将原始数据集X映射到m维的特征空间中，得到新的数据集$X'=\{\phi_1(x_1),\phi_2(x_2),...,\phi_m(x_n)\}$。这个数据集就是经过非线性主成分分析处理后得到的结果。 总的来说，Kernel PCA的推导过程就是先定义核函数，然后通过中心化矩阵和特征值分解得到映射到高维空间中的主成分，最后将原始数据集映射到新的特征空间中得到结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值