主成分分析（PCA）的线性代数推导过程

最新推荐文章于 2024-09-05 23:36:04 发布
最新推荐文章于 2024-09-05 23:36:04 发布
阅读量3k 收藏 8
点赞数
分类专栏： 必要的数学知识 机器学习&数据挖掘(Data Mining) 必要的数学知识 in ML 文章标签： PCA 主成分分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lyxleft/article/details/84865872
版权
本文介绍了PCA（主成分分析）的基本原理，通过Ian Goodfellow的《DEEP LEARNING》一书内容，阐述了如何利用线性代数知识进行PCA的推导。PCA是一种用于数据压缩的机器学习算法，旨在通过低维表示实现有损压缩，同时保持数据的精度。解码过程通过矩阵乘法Dc实现，其中D是解码矩阵。
摘要由CSDN通过智能技术生成

【摘自Ian Goodfellow 《DEEP LEANRNING》一书。觉得写得挺清楚，保存下来学习参考使用。】

主成分分析(principal components analysis, PCA)是一个简单的机器学习算法，可以通过基础的线性代数知识推导。

假设在n维的R空间中我们有 m 个点 {x(1), . . . , x(m)}，我们希望对这些点进行有损 压缩。有损压缩表示我们使用更少的内存，但损失一些精度去存储这些点。我们希 望损失的精度尽可能少。一种编码这些点的方式是用低维表示。

我们希望找到一个编码函数，根据输入返回编码，f(x) = c;

我们也希望找到一个解码函数，给定编码重构输入，x ≈ g(f(x))。

PCA 由我们选择的解码函数而定。具体地，为了简化解码器，我们使用矩阵乘法将编码映射回\mathbb{R}^{n}，即 g(c) = Dc，其中 D ∈

最低0.47元/天 解锁文章
奔跑的Yancy
关注
专栏目录
主成分分析的数学原理推导（涉及统计学和线性代数内容）
C.GAO的博客
06-02 1139
引言： 当存在若干随机变量时，寻求它们的少数线性组合（即主成分），用以解释这些随机变量就很重要. 吴诚鸥，秦伟良著. 近代实用多元统计分析[M]. 2007 定义： 对于随机变量X=(x1,x2,…,xn)TX=(x_1,x_2,\dots,x_n)^TX=(x1​,x2​,…,xn​)T，构建一个XXX的线性组合Y=c1x1+c2x2+⋯+cnxnY=c_1x_1+c_2x_2+\dots+c_nx_nY=c1​x1​+c2​x2​+⋯+cn​xn​，也可记作Y=CTXY=C^TXY=CTX，其中C=
PCA（主成分分析）数学原理推导证明
白翎书生
06-05 4949
PCA的纯数学推导过程
【数学】主成分分析（PCA）的详细深度推导过程
2401_84038983的博客
04-24 1637
现代数据集，如网络索引、高分辨率图像、气象学、实验测量等，通常包含高维特征，高纬度的数据可能不清晰、冗余，甚至具有误导性。数据可视化和解释变量之间的关系很困难，而使用这种高维数据训练的神经网络模型往往容易出现过拟合（维度诅咒主成分分析（PCA）是一种简单而强大的无监督机器学习技术，用于数据降维。它旨在从大型变量集中提取一个较小的数据集，同时尽可能保留原始信息和特征（有损压缩PCA有助于识别数据集中最显著和有意义的特征，使数据易于可视化。应用场景包括：统计学、去噪和为机器学习算法预处理数据。主成分是什么。
《机器学习》PCA数据降维 推导、参数讲解、代码演示及分析
最新发布
wx_AHao1004Y的博客
09-05 1595
主成分分析是一种经典的无监督降维方法，用于将高维数据集投影到一个较低维的子空间中。PCA的目标是找到一个新的坐标系，其中新的轴被称为“主成分”，这些主成分是原始数据中方差最大的方向。通过选择较少的主成分，可以保留数据集中的大部分信息，并且可以减少特征的数量，从而降低计算复杂度。
主成分分析（PCA）证明推导
我的博客有点东西
08-05 2563
pca和svd都是降维常用的方法。今天回顾一下pca的原理。 motivation 现在有m个数据，每个样本有n个属性值，样本用矩阵表示为X∈Rn×mX \in R^{n\times m}X∈Rn×m。每一列是一个样本。 方便接下来的讲述，我们把XXX默认是做过零均值化的。那么X的属性的协方差矩阵C等于： C=1mXXT∈Rn×nC=\frac{1}{m}XX^T \in R^{n\times n}C=m1​XXT∈Rn×n 我们想用一组新的坐标表示X，同时新的坐标数目更少（属性更少）。且在这些坐标下，X
PCA主成分分析推导
sunlanchang的博客
05-25 199
参考 参考
主成分分析(PCA)的一种理解和推导
S_o_l_o_n的博客
06-20 714
主成分分析的语境一般如下：假设需要预测的变量y由k个因素所制约，但是k比较大，使得数据维度较高，为了降低维度，简化计算以及缓解shu
主成分分析（PCA）原理详解
热门推荐
Microstrong
06-09 65万+
“微信公众号”本文同步更新在我的微信公众号里，地址：https://mp.weixin.qq.com/s/Xt1vLQfB20rTmtLjiLsmww本文同步更新在我的知乎专栏里面：主成分分析（PCA）原理详解 - Microstrong的文章 - 知乎https://zhuanlan.zhihu.com/p/377770741.相关背景在许多领域的研究与应用中，通常需要对含有多个变量的数据进行观...
pca图解读_主成分分析pca图解读,主成分分析散点图解读
weixin_32867521的博客
12-23 3万+
主成分分析pca图解读,主成分分析散点图解读,主成分分析(PCA)原理详解1. 相关背景在许多领域的研究与应用中，往往需要对反映事物的多个变量进行大量的观测，收集大量数据以便进行分析寻找规律。多变量大样本无疑会为研究和应用提供了丰富的信息，但也在一定程度上增加了数据采集的工作量，更重要的是在多数情况下，许多变量之间可能存在相关性，从而增加了问题分析的复杂性，同时对分析带来不便。如果分别对每个指标进...
主成分分析（PCA）详解（附带详细公式推导）
Ἥλιος
08-08 1万+
主成分分析（PCA）详解 第十一次写博客，本人数学基础不是太好，如果有幸能得到读者指正，感激不尽，希望能借此机会向大家学习。这一篇的部分内容来自于网上资料，以及自己的一些见解。 预备知识： 这一部分首先介绍几何学中的投影长度计算以及线性代数中的协方差、矩阵的特征值与特征向量，最后介绍PCA的数据预处理和伸缩最大化问题。 计算投影长度 　　图中，红色点表示样例xixix_i...
降维算法之PCA(主成分分析)
SKIp121whats112的博客
02-08 5639
降维算法之PCA(主成分分析)
PCA算法推导过程及案例分析
10-17
即主成分分析技术，又称主分量分析。主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。
3篇很经典的PCA原理的英文文献
04-21
3篇很经典的PCA原理的英文文献，不仅仅是二次变量的选择，还教你怎么回到一次变量
主成分分析（PCA）推导过程及简单实例
技术分享
11-14 7180
本文对主成分分析（Principal Component Analysis，PCA）进行了详细的讲解，它是一种常用的数据降维算法，可以将高维度的数据降到低维度，去除噪声和部分关联特征。文中主要讲解了PCA中协方差矩阵的定义，以及PCA具体的实现步骤。此外，为了便于读者理解，提供了完整的实例。
主成分分析（PCA）的数学推导
weixin_40848065的博客
04-21 750
    主成分分析是一个简单的机器学习算法，可以通过基础的线性代数知识推导。     假设在Rn\mathbb{R}^{n}Rn空间中我们有mmm个点{x(1),...,x(m)}\{\mathbf{x}^{(1)},...,\mathbf{x}^{(m)}\}{x(1),...,x(m)}，我们希望对这些点进行有损压缩。有损压缩表示我们使用更少的内存，但损失一些精度去存储这些点。我们希望损失的精...
PCA（主成分分析）-------原理，推导，步骤、实例、代码
xxty1122的博客
04-09 6万+
最近一直在学习主成分分析（PCA），所以想把最近学的一点知识整理一下，如果有不对的还请大家帮忙指正，共同学习。一、PCA简介1.概念：主成分分析是一种统计方法，通过正交变换将一组可能存在相关性的变量转换成一组线性不相关的变量，转换后的这组变量叫主成分。2.思想：PCA的思想是将n维特征映射到m维上（m<n），这m维是全新的正交特征，称为主成分，这m维的特征是重新构造出来的，不是简单的从n维特...
线性代数---主成分分析
weixin_34242819的博客
01-11 284
2019独角兽企业重金招聘Python工程师标准>>> ...
[1]主成分分析及线性代数知识补充
GrandpaDZB的博客
05-07 353
1 线性代数知识补充 1.1 范数 范数是将向量映射成一个非负数的函数，即f:Rn⟼R+f:\mathbb{R}^n\longmapsto\mathbb{R}^+f:Rn⟼R+ 严格说，对于x,y∈Rn\textbf{x,y}\in\mathbb{R^n}x,y∈Rn应该满足性质： f(x)=0⇒x=0f(\textbf{x}) = 0 \Rightarrow \textbf{x} = 0f(x)=0⇒x=0 f(x+y)≤f(x)+f(y)f(\textbf{x}+\textbf{y}) \le f(\
数据挖掘｜主成分分析｜模型分析与求解
m0_57656758的博客
12-16 3322
一、主成分分析二、PCA主成分分析的基本思想与数学模型 (一)主成分分析的基本思想(二)主成分分析的数学模型 三、主成分分析的几何解释四、主成分分析的应用五、主成分的导出六、主成分分析的计算步骤​​​​​​​在实际问题中，我们经常会遇到研究多个变量的问题，而且在多数情况下，多个变量之间常常存在一定的相关性。由于变量个数较多再加上变量之间常常存在一定的相关性，势必增加了分析问题的复杂性。如何从多个变量中综合为少数几个代表性变量，既能够代表原始变量的绝大多数信息，又互不相关，并且在新的综合变量基础上分析
如何介绍主成分分析的原理和数学推导过程
04-23
主成分分析（PCA）是一种数据降维技术，其目标是将高维数据集映射到低维空间中。它的数学原理基于线性代数和最优化方法。 PCA的数学推导过程可以被描述为以下步骤： 1.标准化数据：将每个特征的值减去其均值，然后...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值