降维——PCA

最新推荐文章于 2021-05-08 17:06:12 发布
最新推荐文章于 2021-05-08 17:06:12 发布
阅读量237 收藏
点赞数
分类专栏： 算法基础知识 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_36118365/article/details/105960296
版权

文章目录

一个中心

将一组可能线性相关的变量通过正交变换变成一组线性无关。（将原始数据重新构造）

两个基本点

最大投影方差

  • 中心化
  • 投影
    对数据进行中心化后，根据数据的最大投影方差。找到主成分

最小重构距离

原始K维，构造m个（m<k）不同向量，每个向量间都是正交的。对这些特征值进行排序，获取前n个对应的特征向量。

笔记手稿

在这里插入图片描述

凉风慕有信
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【白板推导系列笔记】降维-PCA-最大投影方差&最小重构代价
liu20020918zz的博客
10-04 683
PCA的核心就是对原始特征空间的重构（将一组可能线性相关的变量，通过正交变换变换成一组线性无关的变量） 两个基本的要求是最大投影方差（即找到的投影方向对于数据集投影方差最大），最小重构代价（即降维所得到的新数据与原数据相比，信息损失最小）X=(x1x2⋯xN)N×pT=(x1Tx2T⋮xNT)=(x11x12⋯x1px21x22⋯x2p⋮⋮⋮xN1xN2⋯xNP)N×pxi∈Rp,i=1,2,⋯ ,N记1N=(11⋮1)N×1xˉ=1NXT1N,S=1NXTHX \begin{gathered} X=\be
主成分分析【PCA】
宁悦的博客
04-23 528
一、背景 在讲PCA之间，我们先来讨论一下过拟合的问题。通常遇到过拟合，会有两种方式解决。增加训练的数据、正则化。在数据很难增加的情况下，我们一般采取正则化来避免过拟合。但除了正则化之外，我们也可以采取降维的方式来解决这个问题。下面是解决过拟合的方式。 为什么降维可以解决过拟合的问题？ 在我们通常收集的数据中，有很多特征是可以由其他特征推测出来，或者两个特征其实是描述的同一件事情。比如，...
12-降维-PCA-最大投影方差/最小重构代价
scar2016的博客
05-08 1356
文章目录1.PCA(principal component analysis)主成分分析定义2.PCA中心思想：一个中心，两个基本点3.PCA数学建模3.1数据中心化处理4.结论 1.PCA(principal component analysis)主成分分析定义 PCA主要思想是将N维特征映射到K维上，这里的K维是全新的正交特征，是相互垂直的线性无关向量，也称为主成分，K维是在原有的N维特征的基础上重新构造出来的K维特征。PCA的工作是从原始的空间中顺序的找到一组相互正交的坐标轴，新的坐标轴的选择与数据本
主成分分析（PCA） 基于最大投影方差和最小重构距离
weixin_38224810的博客
04-04 2614
主要思想 主成分分析对原始高维空间进行线性变换，将所有数据投影到一个低维度子空间中，从而达到降维的目标。 为了寻找这 个子空间，我们基本想法是: 最大可分性：样本在这个超平面的投影尽可能分得开 最近重构性：样本点到超平面的距离足够近 基于最近重构性 目标：为了使得样本点到超平面的距离足够近 假如数据集是n维的，共有m个数据(x(1),x(2),…,x(m))(x^{(1)}, x^{(2)}, \dots, x^{(m)})(x(1),x(2),…,x(m))，原坐标系为 {w1,w2,…,wn
PCA降维2——最大投影方差与最小重构代价
方悔读书迟
04-08 1320
一个中心：原始特征空间的重构 两个基本点：最大投影方差，最小重构代价 推导过程：
人脸识别程序——PCA
03-09
PCA，全称主成分分析（Principal Component Analysis），是一种在数据挖掘和统计学中广泛应用的降维技术。在人脸识别领域，PCA常被用来提取人脸图像的主要特征，以减少数据的复杂性，同时保持图像的主要信息。 人脸...
实验报告——PCA人脸识别.docx
01-22
"实验报告——PCA人脸识别" 通过本实验，了解了 PCA（Principal Component Analysis，主成分分析）在人脸识别中的应用。PCA 是一种常用的数据降维算法，通过将高维特征空间映射到低维特征空间，实现数据特征的降维...
高光谱，多光谱图像的数据降温处理——PCA变换代码
07-05
高光谱多光谱图像的数据降维代码，PCA变换，python代码
无监督学习PCA降维处理和K-means聚类
01-20
– 主成分分析PCA降维处理 聚类： – K-means（k均值聚类） 2、主成分分析 应用PCA实现特征的降维 ·定义：高维数据转化为低维数据的过程，在此过程中可能会舍弃原有数据、创造新的变量 ·作用：是数据维散压缩，尽...
【温故而知新】PCA
CVer
02-10 375
给定数据集：,其中 ， 样本均值和样本方差的矩阵表达 样本均值： ， 这里记 样本方差： ...
机器学习笔记（七）-主成分分析PCA
Blessy_Zhu的博客
04-28 5955
这篇博文主要介绍了，PCA主成分分析。首先通过几何概念引出维度爆炸带来的问题，接下来通过PCA数据降维来解决之。在主讲PCA内容时主要介绍了：经典主成分分析、最大投影方差、最小重构距离，SVD奇异值分解。最后通过Python实现PCA。这篇文章就到这里了，欢迎大佬们多批评指正，也欢迎大家积极评论多多交流。
主成分分析
热门推荐
xiaoyu714543065的专栏
08-05 2万+
问题：假设在IR中我们建立的文档-词项矩阵中，有两个词项为“learn”和“study”，在传统的向量空间模型中，认为两者独立。然而从语义的角度来讲，两者是相似的，而且两者出现频率也类似，是不是可以合成为一个特征呢？        《模型选择和规则化》谈到的特征选择的问题，就是要剔除的特征主要是和类标签无关的特征。比如“学生的名字”就和他的“成绩”无关，使用的是互信息的方法。        而
降维--PCA，特征选择
qq_35090026的博客
08-23 1987
降维引入原因均值和方差的矩阵形式PCA最大投影方差最小重构代价PCA算法描述 引入原因 为了防止过拟合，我们通常的解决办法有：增加数据，正则化，降维等方法。 为什么要引入降维呢？ 当数据量过大特征过多的时候，数据的维度过高有可能会导致维度灾难。在没有更过数据进行补充的情况下，一般都是做降维处理。 而且在高维情况下，数据会越来越稀疏，并且数据会分布在样本空间的边缘地区，这绝对不是我们想要的结果。 下...
列向量和行向量看待矩阵乘法
Zetaa的博客
07-24 2万+
声明： 仅个人小记 前言： 主要是引入一个新的看待矩阵乘法的角度觉得这个挺重要的，故做记录列向量角度，矩阵左乘AB = C 结合上图，我们可以知道，结果矩阵C中的第 j 列完全可以表示为矩阵A中列向量的线性组合，具体怎样的线性组合完全是参看矩阵B中相应的第 j 列，与矩阵B中的其他列无关。换言之，左侧矩阵提供基本的列向量，右侧的矩阵交代怎样的线性组合。行向量角度，矩阵右乘 AB = C 结合
PCA主成分分析
L199601的博客
10-22 236
目标：使得所有原始点与投影点之间的误差最小（最小重构误差） 以二维空间为例，已知u⃗\vec{u}u为单位向量，则有： e⃗=x⃗−pijx⃗\vec{e}=\vec{x}-p_{ij}\vec{x}e=x−pij​x = x⃗−(x⃗,u⃗)u⃗\vec{x}-(\vec{x},\vec{u})\vec{u}x−(x,u)u = x⃗−(x⃗Tu⃗)u⃗\vec{x}-(\vec{x}^T\v...
个人总结：降维 PCA的两种解释与推导
yyhhlancelot的博客
05-30 3853
降维 在维度灾难、冗余，这些在数据处理中常见的场景，不得不需要我们进一步处理，为了得到更精简更有价值的信息，我们所用的的各种方法的统称就是降维。 降维有两种方式： （1）特征抽取：我觉得叫做特征映射更合适。因为它的思想即把高维空间的数据映射到低维空间。比如马上要提到的PCA即为一种特征映射的方法。还有基于神经网络的降维等。 （2）特征选择： 过滤式（打分机制）：过滤，指的是通过某个阈值进...
PCA降维相关推导与重构误差计算k值选择
seekermp4的博客
10-26 8604
转发文章，原文章地址： https://www.jisilu.cn/question/252942
人工智障学习笔记——机器学习(11)PCA降维
九日王朝
12-09 6476
一.概念 Principal Component Analysis(PCA)：主成分分析法，是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中表示，即把原先的n个特征用数目更少的m个特征取代，新特征是旧特征的线性组合。并期望在所投影的维度上数据的方差最大，尽量使新的m个特征互不相关。从旧特征到新特征的映射捕获数据中的固有变异性。以此使用较少的数据维度，同时保留住较
机器学习算法笔记：降维
xiaochengJF的博客
05-29 198
解决过拟合问题除正则化和添加数据外，降维就是最好的方法。一个 nnn 维球的体积可表示为： CRn CR^n CRn 那么在球体积与边长为 2R2R2R 的超立方体比值为： lim⁡n→0CRn2nRn=0 \lim\limits_{n\rightarrow0}\frac{CR^n}{2^nR^n}=0 n→0lim​2nRnCRn​=0 这就是所谓的维度灾难，在高维数据中，主要样本都分布在立方体...
大数据存储与处理-降维45.pptx
最新发布
01-05
"该资源是关于大数据存储与处理的一份PPT，主要讲解了降维...总结来说，这份PPT深入浅出地介绍了大数据降维的两个重要工具——PCA和SVD，提供了理论基础和计算方法，对于理解和应用这些技术处理高维数据具有指导意义。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值