PCA降维推导

最新推荐文章于 2023-10-08 20:59:21 发布
最新推荐文章于 2023-10-08 20:59:21 发布
阅读量121 收藏
点赞数
文章标签： 人工智能
原文链接：https://my.oschina.net/VenusV/blog/1491790
版权

为什么80%的码农都做不了架构师？>>>   hot3.png

Principal Component Analysis (PCA) 主成分分析，是多变量分析中最老的技术之一，PCA来源于通信中的K-L变换。1901年由Pearson第一次提出主成分分析的主要方法，直到1963年Karhunan Loeve对该问题的归纳经历了多次的修改。
它的目标是通过某种线性投影，将高维的数据映射到低维的空间中表示，并期望在所投影的维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多 的原数据点的特性。通俗的理解，如果把所有的点都映射到一起，那么几乎所有的信息 （如点和点之间的距离关系） 都丢失了，而如果映射后方差尽可能的大，那么数据点则会分散开来，以此来保留更多的信息。可以证明，PCA是丢失原始数据信息最少的一种线性降维方式
。（实际上就是最接近原始数据，但是PCA并不试图去探索数据内在结构）

在数学领域我们使用SVD去解决主成分分析 (PCA) 的问题
PCA的问题其实是一个基的变换，使得变换后的数据有着最大的方差。方差的大小描述的是一个变量的信息量，我们在讲一个东西的稳定性的时候，往往说要减小方差，如果一个模型的方差很大，那就说明模型不稳定了。但是对于我们用于机器学习的数据 （主要是训练数据），方差大才有意义，不然输入的数据都是同一个点，那方差就为0了，这样输入的多个数据就等同于一个数据了
首先来明确几个基础问题

向量基变换

向量

看看下面的这两个向量内积的例子

Matlab 在坐标系中我们设有两个相交但不相等的的向量A与向量B可以知道下面的式子

向量A的模等于其坐标的平方和开根号

A到向量B的垂直线(投影)长度

A与B的内积等于A到B的投影长度乘以B的模

基

一个二维向量可以对应二维笛卡尔直角坐标系中从原点出发的一个有向线段。
但是，在二维空间当中，只有坐标(X,Y)本身是不能够精确表示一个具有方向的向量的。可以知道向量(x,y)是一个线性组合，即二维空间的基，在线性代数中，基（也称为基底）是描述、刻画向量空间的基本工具。向量空间的基是它的一个特殊的子集。
下面是二维空间的基的一般表示

在PCA降维中，我们需要进行空间坐标的变换也就是基变换，下面来看一个例子

矩阵基变换

理论推导

(1)问题描述
对于d维空间中的n个样本，，考虑如何在低维空间中最好地代表它们。

其中m是数据实例的个数， xi是数据实例i的向量表达， x拔是所有数据实例的平均向量。定义W为包含所有映射向量为列向量的矩阵，经过线性代数变换，可以得到如下优化目标函数：

转载于:https://my.oschina.net/VenusV/blog/1491790

weixin_33724046
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
降维算法学习之PCA理论推导
AutoXTruck专栏
04-14 667
PCA算法简述 来，快上车，老铁。 PCA算法计算步骤 输入：样本集合X={x1,x2,...,xm}X=\{x_1,x_2,...,x_m\}X={x1​,x2​,...,xm​} 1. 对所有样本的相同维度进行中心化(去均值)：xi←xi−1m∑imxix_i\leftarrow x_i-\frac{1}{m}\sum^{m}_ix_ixi​←xi​−m1​∑im​xi​ 2.计算样本的协方差...
PCA降维
PKU_ZZY的博客
08-24 1630
PCA降维
PCA数学推导过程
03-19
PCA降维过程的数学简单推导
PCA数据降维实例推导
wonengguwozai的博客
11-21 502
缘起：在3DMM相关3D重建算法以及用于数据降维的机器学习算法中大量使用了主成分分析，在这里做了梳理和实例推导。       本文参考（非常精辟的分析）：http://blog.codinglabs.org/articles/pca-tutorial.html     实例推导过程： ...
PCA主成分分析（降维）过程推导
以梦为马，不日抵达。
12-22 1万+
主成分分析的作用是降维。当数据量有多个维度时，有些维度对于数据的贡献大，有些维度对数据的贡献小。通过主成分分析，找到重要的维度，能大大减少计算量。 PCA的中心思想： 一个中心：原始特征空间的重构。 两个基本点：最大投影方差，最小重构距离。 --------------------------------------------------------------------------------------------------------------------------------...
降维：PCA推导以及iris实例
qq_43610614的博客
08-09 1200
PCA推导以及iris实例
PCA降维的推导（超详细）
AI_dataloads的博客
10-08 980
PCA（Principal Component Analysis）是一种常用的降维技术，即将高维数据转换为低维数据的方法。通俗地说，PCA降维就是通过找到数据中的主要特征，并将其用较少的特征来表示，从而减少数据的维度。下图为例，所有的数据是分布在三维空间中，PCA将三维数据映射到二维平面u，二维平面由向量<u1,u2>表示，u1与u2垂直。
PCA降维全过程
Deepin_L的博客
10-31 1838
PCA的目的 将原有的d维数据集，转换成k维的数据（k<d） 新生成的k维数据尽可能的包含原来d维数据的信息 PCA的数学推导 假设对n个样本xix_ixi​进行PCA处理，先对数据进行中心化，即将数据的均值变为0（为了后面计算的方便，不用减去mean） 1N∑i=1Nxi=0 \frac{1}{N}\sum_{i=1}^{N}x_i=0 N1​i=1∑N​xi​=0 则数据集的协方差矩阵为 Cov(xi,xj)=1n∑i=1n(xi−μi)(xj−μj) Cov(x_i,x_j)=\frac{1
PCA降维算法讲解和公式推导
08-21
"PCA降维算法讲解和公式推导" PCA（Principal Component Analysis，主成分分析）是一种常用的降维算法，旨在将高维数据转换为低维数据，同时保留原始数据的主要信息。PCA的思想是将原始数据投影到新的坐标系上，...
pca降维的基本思想_三种常用降维方法的思想总结
weixin_42554151的博客
01-17 1977
一.判别分析降维LDA降维和PCA的不同是LDA是有监督的降维，其原理是将特征映射到低维上，原始数据的类别也能清晰的反应在低维的数据上，也就是低维的数据也可以用来判别分类。我们先看看二维的情况，我们希望找到一个向量，使得数据点映射到这个向量上后，两个类间的距离尽可能，两个类内的样本的距离尽可能小。这样就得到了一个目标函数，分子是投影后两个类间均值的差的平方，我们希望这个值尽可能大，分母是投影后的类...
PCA算法推导过程及案例分析
10-17
即主成分分析技术，又称主分量分析。主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。
python实现pca降维_PCA降维的原理、方法、以及python实现。
weixin_39520988的博客
12-03 1618
参考：菜菜的sklearn教学之降维算法.pdf!!PCA(主成分分析法)1. PCA(最大化方差定义或者最小化投影误差定义)是一种无监督算法，也就是我们不需要标签也能对数据做降维，这就使得其应用范围更加广泛了。那么PCA的核心思想是什么呢？例如D维变量构成的数据集，PCA的目标是将数据投影到维度为K的子空间中，要求KPCA其实就是方差与协方差的运用。降维的优化目标：将一组 N 维向量降为 K 维...
机器学习——PCA降维
胭脂草的ABC博客
05-05 492
PCA（Principal Component Analysis） 是一种常见的数据分析方式，常用于高维数据的降维，可用于提取数据的主要特征分量。 PCA 的数学推导可以从最大可分型和最大重构性两方面进行，前者的优化条件为划分后方差最大，后者的优化条件为点到划分平面距离最小。由于基于最大重构性的 PCA 其与 LDA（线性判别法）的数学推导有异曲同工之处，所以我只从最大可分性进行证明，而最大重构...
降维之PCA原理及推导
MyNotes
03-16 719
文章目录1、PCA思想2、基础知识推导最大化方差理论推导步骤最小平方误差理论 主成分分析（Principal components analysis，以下简称PCA）是最重要的降维方法之一。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。 是一种线性、非监督、全局降维算法 两种方法：最大化方差理论、最小平方误差理论 1、PCA思想 PCA旨在找到数据中的主成分，并利用这些主成分表征原始数据，...
机器学习：降维算法-主成分分析PCA算法两种角度的推导
do it
10-14 2769
若把高维空间的样本点（可以想象是一个3维的）映射到一个超平面，怎样的超平面可以认为是“好的”，可以想到这个超平面大概有这样的性质： 最近重构行：样本点到超平面的距离都足够近；（样本点变化尽可能小，丢失的信息尽可能少） 最大可分性：样本点在这个超平面上的投影尽可能分开.（样本点在低维空间区分度尽可能高） 神奇的是，从两个角度出发，可以分别得到主成分分析PCA算法的两种等价推导。 根据最近重构性...
【降维PCA算法】 机器学习公式推导计算+详细过程 （入门必备）
On the road
07-05 1234
PCA算法 PCA算法：主成分分析是一种非监督的降维方法，降维可以做特征筛选，降低训练复杂度。 在信号学里，信噪比越大，说明数据质量越好。其中信号有较大的方差，噪声有较小的方差。 PCA正好可以借鉴信噪比这一理论，让数据在主轴上的投影方差最大。 方差公式 V(x)=1m∑i=1m(xi−x‾)2 V(x) = \frac{1}{m} \sum_{i=1} ^ m (x_i - \overline{x})^2 V(x)=m1​i=1∑m​(xi​−x)2 PCA推导 求方差最大化，可以令x
主成分分析降维原理——PCA数学推导
南瓜派三蔬
05-03 1018
1.PCA降维的计算过程 下图是从西瓜书里截取的PCA降维过程的图片。 需要说明的是，算法中的向量为列向量。假设原始维度为d，样本数目为m，因此特征矩阵X的维度为d×m，W的维度为d×d’。降维的时候，transpose(W)*X得到 d’×m的矩阵，它的每一列，即为降维后的向量。 2.数学推导 不过西瓜书里没有详细推导（我查了好几本书，包括DeepLearning和Hands On ML，都没...
吴恩达机器学习-使用PCA对二维数据降维
qq_43781887的博客
04-10 1330
代码： import numpy as np import scipy.io as sio import matplotlib.pyplot as plt mat=sio.loadmat('ex7data1.mat') print(mat.keys()) X=mat['X']#(50,2) # 初始数据可视化 plt.scatter(X[:,0],X[:,1]) plt.show() # 1.X去均值化 X_demean=X-np.mean(X,axis=0) # 绘制去均值化后的数据分布...
PCA降维原理 操作步骤与优缺点
热门推荐
TranSad的博客
05-30 3万+
PCA全称是Principal Component Analysis，即主成分分析。它主要是以“提取出特征的主要成分”这一方式来实现降维的。 介绍PCA的大体思想，先抛开一些原理公式，如上图所示，原来是三维的数据，通过分析找出两个主成分PC1和PC2，那么直接在这两个主成分的方向上就可以形成一个平面，这样就可以把我们三位的样本点投射到这一个平面上（如右图）。那么此时的PC1和PC2都不单单是我们的其中某一维特征，而是各个特征通过某种线性变化的组合结果。这就是PCA降维宏观上的效果。 ...
PCA/ICA推导过程
最新发布
05-15
PCA和ICA是常用的降维方法，它们可以从原始数据中提取出最重要的特征。下面简要介绍一下它们的推导过程。 PCA（Principal Component Analysis）是一种线性降维方法，其主要思想是将原始数据映射到一个新的低维空间...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值