PCA数学推导

已于 2024-04-16 20:01:07 修改
阅读量1.1k 收藏 15
点赞数 27
分类专栏： 数学基础 文章标签： 机器学习 算法 人工智能
于 2024-04-16 20:00:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46195532/article/details/137838101
版权
PCA（主成分分析）是一种常用的降维方法。本文深入探讨了PCA的数学基础，包括向量表示、基变换、最大可分性和降维策略。通过分析向量的内积、基变换和协方差矩阵，阐述了如何寻找最优基，以最大程度地保留数据的方差，同时减少变量之间的线性相关性。最后总结了PCA的求解步骤，涉及矩阵对角化和特征向量的应用。
摘要由CSDN通过智能技术生成

PCA降维

一、向量表示与基变换

1.1 向量内积（几何解释）

image.png
A、B均为二维向量，则A点乘B，即A与B的内积为：
image.png
几何理解：A与B的内积值 = A向B所在直线投影的模 × B的模

1.2 基与基变换（矩阵表示）

1.2.1 基

向量（3，2）包含的定义：
以 x 轴和 y 轴上正方向长度为 1 的向量为标准。
向量 (3,2) 实际的意思是：
这个向量在x轴投影为3，y轴的投影为2
即默认此向量在（1，0）与（0，1）这组基下进行投影，因为任意向量与这组基分别求内积得到结果的数值还是自身，所以直接就可以用x、y轴坐标进行表示。

注意：投影是一个标量，所以可以为负。

由此可以得出结论：
准确描述向量要满足两个要点：（1）确定一组基（2）通过分别做内积求出向量在此基上的投影值

1.2.2 基变换

以矩阵形式表示向量 ( 3 , 2 ) (3,2) (3,2)在 ( 1 2 , 1 2 ) (\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}}) (2 ​1​,

最低0.47元/天 解锁文章
__Bolide__
关注
专栏目录
PCA的数学原理推导
道路，愿景与目标。
05-09 5138
PCA的数学推导 PCA（Principle Component Analysis）是一种可以将高维度数据降为低维度数据的机器学习算法。通过降维，可以有节省存储空间，数据可视化等优点。之前在Coursera上Andrew Ng的机器学习时了解到此算法，但是那个课只涉及了实现，并未阐述其背后的数学原理。之后在Coursera上又找到一门专门讲PCA数学原理的课程，才借此了解些许其中的数学原理，在此...
PCA公式推导
m0_46716894的博客
10-15 2219
PCA公式推导 文章目录PCA公式推导PCA目的与原理PCA使用说明PCA公式推导关于m值的选择Python实现PCA对于鸢尾花数据进行降维PCA和LDA的思路比较 PCA目的与原理 PCA可以实现在维度较多的时候的降维的功能，并且能在降维的过程中最大的保留原来的变量的所有信息。实现的思路是，对于现存的m维数据，找到k（k<m）维数据来对其进行代替，目标是尽可能减少信息的损失。为了更加直观的认识，我们以二维的数据为例。如下图，存在蓝色的一些数据点，我们希望找到一个比二维维度更低(这里就是这条一维的直线
PCA数学推导过程
03-19
PCA降维过程的数学简单推导
PCA理论推导
Xafter0的博客
04-17 346
令 \(X=\left[ \begin{matrix}x_1 & \cdots& x_N\end{matrix}\right]\in R^{D\times N}\)是一个给定的待降维的数据集，由\(X\)中的元素可以张成\(R^D\)中的一个子空间\(S=span \{x_1,\cdots,x_n\}\),在\(S\)中寻找一个\(d\)维子空间 \(U\),假设\(U\) 的...
PCA推导
cd651的博客
11-20 301
虽然PCA是最常用的最基础的算法，但总是不清楚PCA的具体原理。 大神讲解传送带 实际上等价的那个地方有一点问题，就是W‘X的每一行并没有中心化，所以其乘以转置对角线上的元素似乎不是某一行的方差 ...
简单推导 PCA
12-10 1235
考虑二维数据降低到一维的例子，如下图所示： 最小化投影方差（maximize projected variance）：
PCA详细推导
08-10
#### 三、PCA的数学推导 1. **数据表示**：设数据集为\( X \) (m×n)，其中m表示样本数量，n表示特征数量。我们需要找到一个权重矩阵\( W \) (n×k)，使得\( X \)经过\( W \)变换后的结果\( Y = XW \)具有较小的...
PCA数学推导及原理（转）
weixin_30550271的博客
06-26 327
原文：https://zhuanlan.zhihu.com/p/26951643 在多元统计分析中，主成分分析（Principal components analysis，PCA）是一种分析、简化数据集的技术。主成分分析经常用于减少数据集的维数，同时保持数据集中的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。 PCA在机器学习中...
PCA算法的详细数学推导
DZF_zuishuai的博客
02-17 4458
PCA的数学推导 原理介绍 PCA算法是一个用途非常广的降维手段，这种方法其实是一种特征提取方法（feature extraction），是对原始特征进行变化之后的降维压缩，需要注意的是，这并不是特征选择（feature selection）。PCA的基本思想就是，寻找一组正交基底，使得原始数据的空间发生变化，使得在新的空间的各个维度上方差最大化（通常认为，特征方差越大的特征，包含的信息越重要），...
PCA（主成分分析）数学原理推导证明
白翎书生
06-05 4892
PCA的纯数学推导过程
PCA算法推导
crazy_scott的博客
05-26 1845
PCA理解与应用。 Motivation PCA与Factor analysis非常相似，都是主要用于reduction data dimensions。但PCA的想法相比于Factor analysis更简单，实现起来也更加直观和容易（只需要算特征值）。 PCA tries to identify the subspace in which the data approximately li...
PCA（主成分分析）数学推导
一路向北
05-20 916
 证明对称阵的不同特征值对应的特征向量是相互正交的，如下：  
PCA的数学公式推导
qq_36855981的博客
11-30 1311
这个主要还是学的Andrew Ng的CS229课程，查阅了其他的很多资料，勉强理解了其中的思路；与诸位分享一下；首先假设数据X已经做过白化处理（白化是一个很简单的过程，这里不做赘述）； 那么PCA的目的就是找到一组正交基，使得数据X的方差尽可能的大； 即: max((X^T * U)^2); U为线性变换的正交基; (X^T * U)^2 = (U^T * X)*(X^T * U) = U^T*(X
【数学】主成分分析（PCA）的详细深度推导过程
最新发布
机器人技术、机器学习理论、数学公式算法等记录
04-14 2064
现代数据集，如网络索引、高分辨率图像、气象学、实验测量等，通常包含高维特征，高纬度的数据可能不清晰、冗余，甚至具有误导性。数据可视化和解释变量之间的关系很困难，而使用这种高维数据训练的神经网络模型往往容易出现过拟合（维度诅咒）。 主成分分析（PCA）是一种简单而强大的无监督机器学习技术，用于数据降维。它旨在从大型变量集中提取一个较小的数据集，同时尽可能保留原始信息和特征（有损压缩）。PCA有助于识别数据集中最显著和有意义的特征，使数据易于可视化。应用场景包括：统计学、去噪和为机器学习算法预处理数据。这些知识
详细推导PCA算法（包括算法推导必备的知识）
渣渣屋
10-28 2234
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录1. PCA优化目标2.理论依据2.1 矩阵换基底2.2 拉格朗日乘子法2.3 协方差矩阵2.4 特征向量和奇异值分解2.4.1 特征向量奇异值分解2.4.3 特征向量和奇异值分解的关系3 PCA3.1 PCA推导3.2 PCA过程总结 前言 该文章转载自 https://blog.csdn.net/QQ2627866800/article/details/86656237 自己做了点修订 1. PCA优化目标 用较少特征地数据
pca的数学推导过程
11-02
其数学推导过程如下： 假设有n个m维样本向量，表示为X=[x₁, x₂, ..., xn]，其中xi∈Rm。 1. 对原始数据X进行均值化，计算样本均值μ： μ=(1/n) * ∑(xi)，其中i从1到n取值。 2. 做中心化处理，得到中心化数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值