机器学习(10)--PCA 和LDA

最新推荐文章于 2022-04-17 15:53:24 发布
最新推荐文章于 2022-04-17 15:53:24 发布
阅读量316 收藏
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010247622/article/details/106229190
版权

 

PCA，LDA——简述

要求：原数据协方差矩阵变换成对角矩阵（非对角线数据全为零）Ps：非对角线矩阵为零是因为特征线性无关

原数据协方差矩阵不是对角矩阵是因为现在选择的基向量不好，变换后，选择好的基向量

原理：实对称矩阵一定能转换成对角阵

对角线上的值为特征值，大小决定了特征向量的重要程度（降维的关键）

目标：分子越大越好（类间距越大越好），分母越小越好（同类分布越密集越好）

化简为上图所示

最低0.47元/天 解锁文章
SpringHeather
关注
专栏目录
LDA PCA
sflotus的专栏
10-27 409
线性判别式、主成分分析
pca+lda
learnee的专栏
11-11 1326
最近看了一篇文章：warpLda，先记下来，看了再更新这篇文章。
机器学习—PCA和LDA
cy925777075的博客
08-16 419
本篇文章介绍一下机器学习中最为常见的数据降维技术PCA和LDA，随着深度学神经网络的发展PCA和LDA的应用几乎越来越少了，尤其是LDA，但是这两种降维的思想还是值得我们学习的。 PCA 主成分分析（PCA）是一种无监督学习的降维方法，其主要思想非常非常简单，即寻找一组正交基对原始数据进行线性变换，使变换后的数据在某一个正交基方向上方差最大，从而尽最大可能地将原始数据投影到该方向上，如下图。 那么，我们如何找到这组正交基呢？ 别急，在寻找正交基之前，我们还需要对数据进行中心化预处理，将所有数据搬移到坐标原
机器学习的相关知识-LDA、PCA
赫凯的博客
03-31 1003
线性判别分析（LDA） 也是一种降维方法，思想就是 多维空间中，数据处理分类问题较为复杂，LDA算法将多维空间中的数据投影到一条直线上，将ddd维数据转化成1维数据进行处理。 对于训练数据，设法将多维数据投影到一条直线上，同类数据的投影点尽可能接近，异类数据点尽可能远离。 对数据进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定样本的类别。 “投影后类内方差最小，类间方差最大” 看这个图就明白了，在现实中xxx不止两维，但是思想一样的，就是每个点到这条直线上的投影，同类的接近，异类的远
PCA和LDA
qq_35985044的博客
07-15 414
最近看论文提到了LDA，这里就对LDA及类似的PCA等降维方法做介绍。 一、PCA PCA是一种无监督的降维方法，试图找到数据中的主成分，并利用这些主成分表征原始数据(降维一般就是找正交的低维向量来表示高维原始数据)。PCA一般有两种推导方式(似乎都不如SVD更直接)，这里采用最大方差法，即使得数据点投影到新的空间中后彼此间的协方差尽量的大： 二、LDA LDA是一种有监督的降维方法，...
机器学习二-LDA算法
最新发布
09-01
1． 简述LDA原理、 算法... 参看前人其它论文实现一个新的线性鉴别分析方法或子空间学习方法，并与 PCA,LDA做比较实验，打印出各方法训练样本数的增长其识别曲线变化图等各种 情况，把简要内容写在本实验报告中；
9-LDA与PCA算法.7z
07-03
这些是两种在数据分析和机器学习领域广泛使用的降维技术。 **线性判别分析（LDA）** 线性判别分析是一种统计方法，最初用于分类问题，它通过找到最佳的线性投影来最大化类别间的差异，同时最小化类别内的差异。LDA...
28.python机器学习-LDA和PCA
大勇若怯任卷舒
02-25 436
28.1 线性判别分析（LDA） Linear Discriminant Analysis 用途：数据预处理中的降维，分类任务 历史：Ronald A. Fisher在1936年提出了线性判别方法 目标：LDA关心的是能够最大化类间区分度的坐标轴成分。将特征空间（数据集中的多维样本）投影到一个维度更小的 k 维子空间中， 同时保持区分类别的信息 原理：投影到维度更低的空间中，使得投影后的点，会形成按类别区分，一簇一簇的情况，相同类别的点，将会在投影后的空间中更接近方法 [外链图片转存失败,源站可能有防盗
在机器学习pipeline中同时使用PCA和LDA
12-21
在机器学习pipeline中同时使用PCA和LDA ''' from sklearn.neighbors import KNeighborsClassifier from sklearn.pipeline import Pipeline from sklearn.model_selection import cross_val_score # import the Iris ...
PCA和LDA人脸识别matlab代码（最紧邻分类器）
06-15
在matlab下实现LDA和PCA人脸特征提取算法和用最近令分类器分类，在标准人脸库上测试效果不错，有很高的识别率。本代码已经经过调试，直接能运行的。
local principal component analysis（局部PCA）（英文pdf）
11-24
PCA包括全局PCA（即经典的PCA算法），但是在进行高维数据的维度估计或者维度约简时，因为高维数据集中在超球面上，用局部PCA算法取得的效果更好。
PCA 和LDA（这里指线性判别分析，而非LDA是隐含狄利克雷分布（Latent Dirichlet Allocation）)
Jiashilin
09-10 592
PCA的思想 　　　　PCA是找出数据里最主要的方面，用数据里最主要的方面来代替原始数据。具体的，假如我们的数据集是n维的，共有m个数据(x(1),x(2),...,x(m))(x(1),x(2),...,x(m))。我们希望将这m个数据的维度从n维降到n'维，希望这m个n'维的数据集尽可能的代表原始数据集。我们知道数据从n维降到n'维肯定会有损失，但是我们希望损失尽可能的小。那么如何让这n'...
PCA和LDA简介
qq_33278461的博客
09-17 1104
PCA: PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法，可用于提取数据的主要特征分量。 目的: 在高维数据中找方差最大的方向, 将n维特征映射到k维上(k < n)，k维特征是全新的正交特征，也叫主成分。 步骤： 1）将原始数据按列组成n行m列矩阵X； 2）将X的每一行（代表一个属性字段）进行零均值化，即减去这一行的均值...
机器学习——PCA与LDA
DCGJ666的博客
04-17 4899
机器学习——PCA与LDAPCA推导一个PCALDALDA的中心思想是什么LDA的优缺点LDA的步骤推导LDAPCA和LDA有什么区别 PCA 主成分分析（PCA）是一种多变量统计方法，它是最常用的降维方法之一，通过正交变换将一组可能存在相关性的变量数据转换为一组线性不相关的变量，转换后的变量被称为主成分 可以使用两种方法进行PCA，分别是特征分解或奇异值分解（SVD）。PCA旨在找到数据中的主成分，并利用这些主成分表征原始数据，从而达到降维的目的。 算法步骤 假设有m条n维数据 将原始数据按列组成n行m
两种降维方法原理：PCA和LDA
SnowQueen1024的博客
12-13 886
1、PCA(主成分分析) 无监督降维技术，利用正交变换把由线性相关变量表示的观测数据转换为少数几个由线性无关变量表示的数据，线性无关的变量称为主成分。 LDA选择的是投影后数据方差最大的方向。因此PCA假设方差越大，代表的信息量越大，使用主成分来表示原始数据可以去除冗余的维度，达到降维的目的。 [----暂未了解----] 2、LDA(线性判别分） 有监督的，选择的是投影后类内方差小、类间方差大的...
数据挖掘：特征提取——PCA与LDA
AvenueCyy的博客
04-02 8154
在数据维度很高时，我们会从中提取出一些有用的特征，降低数据处理的维度，方便计算，这个过程也被叫做降维。 一般常用的降维方法有PCA和LDA。 PCA：非监督降维，降维后数据的方差尽可能的大（方差大，含有的信息量就大） LDA：有监督降维，降维后，组内（同一类别）方差小，组间（不同类别之间）方差大 主成分分析PCA PCA的直观理解 PCA的一般用途： 聚类：把复杂的多维数据转为少量数据，易...
PCA和LDA原理
hxl
09-23 935
PCA的作用 主成分分析简称 PCA（Principal Component Analysis），有两个大的用处 1.Clustering 把复杂的多维数据点，简化成少量数据点，易于分簇 2.降维 降低高维数据，简化计算 降低维度，压缩，去噪 原来的数据集是d维，转换成k维的数据，k<d 新的k维数据尽可能多的包含原来d维数据的信息 数据压缩 PCA求解 2维降维到1维: 寻找一个一维向量的方向，数据在这个向量上的投影能最小化损失 从n维降维到k维：寻找一个k维向量，数据在这个k维空间的投影能
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值