PCA 和LDA（这里指线性判别分析，而非LDA是隐含狄利克雷分布（Latent Dirichlet Allocation）)

最新推荐文章于 2023-05-04 12:02:46 发布
最新推荐文章于 2023-05-04 12:02:46 发布
阅读量600 收藏 1
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35290785/article/details/89851172
版权

PCA的思想

　　　　PCA是找出数据里最主要的方面，用数据里最主要的方面来代替原始数据。具体的，假如我们的数据集是n维的，共有m个数据(x(1),x(2),...,x(m))(x(1),x(2),...,x(m))。我们希望将这m个数据的维度从n维降到n'维，希望这m个n'维的数据集尽可能的代表原始数据集。我们知道数据从n维降到n'维肯定会有损失，但是我们希望损失尽可能的小。那么如何让这n'维的数据尽可能表示原来的数据呢？

　　　　我们先看看最简单的情况，也就是n=2，n'=1,也就是将数据从二维降维到一维。数据如下图。我们希望找到某一个维度方向，它可以代表这两个维度的数据。图中列了两个向量方向，u1u1和u2u2，那么哪个向量可以更好的代表原始数据集呢？从直观上也可以看出，u1u1比u2u2好。

　　　　可以有两种解释，第一种解释是样本点到这个直线的距离足够近，第二种解释是样本点在这个直线上的投影能尽可能的分开。

　　　　假如我们把n'从1维推广到任意维，则我们的希望降维的标准为：样本点到这个超平面的距离足够近,或者说样本点在这个超平面上的投影能尽可能的分开。

　　　　基于上面的两种标准，我们可以得到PCA的两种等价推导。

PCA算法总结

　　　　这里对PCA算法做一个总结。作为一个非监督学习的降维方法，它只需要特征值分解，就可以对数据进行压缩，去噪。因此在实际场景应用很广泛。为了克服PCA的一些缺点，出现了很多PCA的变种，比如第六节的为解决非线性降维的KPCA，还有解决内存限制的增量PCA方法Incremental PCA，以及解决稀疏数据降维的PCA方法Sparse PCA等。

　　　　PCA算法的主要优点有：

　　　　1）仅仅需要以方差衡量信息量，不受数据集以外的因素影响。　

　　　　2）各主成分之间正交，可消除原始数据成分间的相互影响的因素。

　　　　3）计算方法简单，主要运算是特征值分解，易于实现。

　　　　PCA算法的主要缺点有：

　　　　1）主成分各个特征维度的含义具有一定的模糊性，不如原始样本特征的解释性强。

　　　　2）方差小的非主成分也可能含有对样本差异的重要信息，因降维丢弃可能对后续数据处理有影响。

 

LDA的思想

　　　　LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的。这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。LDA的思想可以用一句话概括，就是“投影后类内方差最小，类间方差最大”。 我们要将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。

　　　　假设我们有两类数据 分别为红色和蓝色，如下图所示，这些数据特征是二维的，我们希望将这些数据投影到一维的一条直线，让每一种类别数据的投影点尽可能的接近，而红色和蓝色数据中心之间的距离尽可能的大。

　　　　从直观上可以看出，右图要比左图的投影效果好，因为右图的黑色数据和蓝色数据各个较为集中，且类别之间的距离明显。左图则在边界处数据混杂。以上就是LDA的主要思想了，当然在实际应用中，我们的数据是多个类别的，我们的原始数据一般也是超过二维的，投影后的也一般不是直线，而是一个低维的超平面

LDA算法总结

　　　　LDA算法既可以用来降维，又可以用来分类，但是目前来说，主要还是用于降维。在我们进行图像识别图像识别相关的数据分析时，LDA是一个有力的工具。下面总结下LDA算法的优缺点。

　　　　LDA算法的主要优点有：

　　　　1）在降维过程中可以使用类别的先验知识经验，而像PCA这样的无监督学习则无法使用类别先验知识。

　　　　2）LDA在样本分类信息依赖均值而不是方差的时候，比PCA之类的算法较优。

　　　　LDA算法的主要缺点有：

　　　　1）LDA不适合对非高斯分布样本进行降维，PCA也有这个问题。

　　　　2）LDA降维最多降到类别数k-1的维数，如果我们降维的维度大于k-1，则不能使用LDA。当然目前有一些LDA的进化版算法可以绕过这个问题。

　　　　3）LDA在样本分类信息依赖方差而不是均值的时候，降维效果不好。

　　　　4）LDA可能过度拟合数据。

 

PCA和LDA的相同点

  1. PCA和LDA都是经典的降维算法；
  2. PCA和LDA都假设数据是符合高斯分布的；
  3. PCA和LDA都利用了矩阵特征分解的思想。

PCA和LDA的不同点

  1. PCA是无监督（训练样本无标签）的，LDA是有监督（训练样本有标签）的；
  2. PCA是去掉原始数据冗余的维度，LDA是选择一个最佳的投影方向，使得投影后相同类别的数据分布紧凑，不同类别的数据尽量相互远离。
  3. LDA最多可以降到k-1维（k是训练样本的类别数量，k-1是因为最后一维的均值可以由前面的k-1维的均值表示）；
  4. LDA可能会过拟合数据。

  5. LDA除了可以用于降维，还可以用于分类。

  6.  

    LDA选择分类性能最好的投影方向，而PCA选择样本点投影具有最大方差的方向。

     

 

 

 https://www.cnblogs.com/wumh7/p/9457828.html

贾世林jiashilin
关注
专栏目录
机器学习算法 —— 线性判别模型（LDA）
ZShiJ的博客
07-23 298
线性判别模型（LDA）在模式识别领域（比如人脸识别等图形图像识别领域）中有非常广泛的应用。LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的。这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。LDA的思想可以用一句话概括，就是“投影后类内方差最小，类间方差最大”。我们要将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。
机器学习西瓜书（周志华）第三章 线性模型 （LR 对数几率函数\LDA\类别不平衡）
小蜗牛的博客
05-16 1808
第三章 线性模型1. 线性回归1.1 基本形式：1.2 对数线性回归2. 对数几率回归（logistic regression）2.1 对数几率函数（logistic function）3. 线性判别分析5. 课后练习参考答案 1. 线性回归 1.1 基本形式： 许多功能更为强大的非线性模型可通过在线性模型的基础上通过引入层级结构或者高维映射得到。 若将无序属性连续化，则会不恰当的引入序关系，对...
LDA PCA
sflotus的专栏
10-27 415
线性判别式、主成分分析
LDA和PCA
serenysdfg的博客
03-18 394
LDA-有监督 线性判别分析LDA: 将带标签的高维样本投影到更低维度的空间中，使投影后的点按类别区分，相同类别的点将会在投影后的空间中更接近 ,类别之间 类间离散度越大越好。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-z11yQsfD-1584520772371)(C:\Users\sereny\AppData\Roaming\Typora\typora-us...
PCA和LDA
qq_35985044的博客
07-15 421
最近看论文提到了LDA，这里就对LDA及类似的PCA等降维方法做介绍。 一、PCA PCA是一种无监督的降维方法，试图找到数据中的主成分，并利用这些主成分表征原始数据(降维一般就是找正交的低维向量来表示高维原始数据)。PCA一般有两种推导方式(似乎都不如SVD更直接)，这里采用最大方差法，即使得数据点投影到新的空间中后彼此间的协方差尽量的大： 二、LDA LDA是一种有监督的降维方法，...
LDA与PCA
wxn704414736的博客
06-13 275
主成分分析（PCA）原理总结http://www.cnblogs.com/pinard/p/6239403.html用scikit-learn学习主成分分析(PCA)http://www.cnblogs.com/pinard/p/6243025.html线性判别分析LDA原理总结http://www.cnblogs.com/pinard/p/6244265.html用scikit-learn进行L...
sklearn实现lda模型_运用sklearn进行线性判别分析(LDA)代码实现
weixin_34709138的博客
01-15 2274
基于sklearn的线性判别分析(LDA)代码实现一、前言及回顾本文记录使用sklearn库实现有监督的数据降维技术——线性判别分析(LDA)。在上一篇LDA线性判别分析原理及python应用(葡萄酒案例分析)，我们通过详细的步骤理解LDA内部逻辑实现原理，能够更好地掌握线性判别分析的内部机制。当然，在以后项目数据处理，我们有更高效的实现方法，这篇将记录学习基于sklearn进行LDA数据降维，提...
个人总结：降维 从 PCA 到 LDA
yyhhlancelot的博客
05-31 1284
在个人总结：PCA中，对PCA的原理以及理由进行了一个概述，PCA应该是降维领域名声最大的算法，但是提到PCA，就不得不联想到另外一个名气也不小的降维算法 LDA : Linear Discriminant Analysis，线性判别分析。它在模式识别领域（人脸识别等图像识别领域）用途广泛。同时需要区分自然语言处理的LDA : Latent Dirichlet Allocation, 隐含狄利克雷...
LDA 线性判别分析(降维)——还没看懂
起飞的木木的博客
03-24 2925
转载自：http://www.cnblogs.com/pinard/p/6244265.html， https://blog.csdn.net/weixin_40604987/article/details/79615968介绍的比较详细 降维方法线性判别分析（Linear Discriminant Analysis, 以下简称LDA） LDA在模式识别领域（比如人脸识别，舰艇识别等图形图像...
基于PCA和LDA结合的人脸识别方法的比较研究.pdf
09-23
基于PCA和LDA结合的人脸识别方法的比较研究.pdf
基于PCA和LDA融合算法的性别鉴别
11-04
摘要:  结合主元分析（PCA）与线性鉴别分析（LDA）的特点，利用PCA-LDA算法进行性别鉴别。通过PCA算法求得训练样本的特征子空间，并在此基础上计算出LDA算法的特征子空间。将PCA算法与LDA算法的特征子空间进行融合，获得PCA-LDA算法的融合特征空间。训练样本与测试样本分别朝融合特征空间投影，从而得到识别特征。利用最近邻准则即可完成性别鉴别。实验中利用三种预处理方法（PCA+LDA、HG+PCA+LDA、RHG+PCA+LDA），得出各自的实验结果，并进行比较。实验结果表明，利用RHG+PCA+LDA方法预处理后，使用PCA-LDA算法进行性别鉴别可以得到理想的效果。  　　随
机器学习——PCA与LDA
DCGJ666的博客
04-17 4985
机器学习——PCA与LDAPCA推导一个PCALDALDA的中心思想是什么LDA的优缺点LDA的步骤推导LDAPCA和LDA有什么区别 PCA 主成分分析（PCA）是一种多变量统计方法，它是最常用的降维方法之一，通过正交变换将一组可能存在相关性的变量数据转换为一组线性不相关的变量，转换后的变量被称为主成分 可以使用两种方法进行PCA，分别是特征分解或奇异值分解（SVD）。PCA旨在找到数据中的主成分，并利用这些主成分表征原始数据，从而达到降维的目的。 算法步骤 假设有m条n维数据 将原始数据按列组成n行m
线性判别分析（LDA）与主成分分析（PCA）
weixin_44327656的博客
04-14 1404
简介 线性判别分析（LDA） 什么是LDA 线性判别分析（Linear Discriminant Analysis，LDA）是一种经典的降维方法。LDA是一种监督学习的降维技术，数据集的每个样本有类别输出。 LDA的特点 多维空间中，数据处理分类问题较为复杂，LDA算法将多维空间中的数据投影到一条直线上，将d维数据转化成1维数据进行处理。 对于训练数据，设法将多维数据投影到一条直线上，同...
PCA & LDA
Swift's Blog
08-02 281
预备知识 在统计学中，方差是用来度量单个随机变量的离散程度，而协方差则一般用来衡量两个随机变量的联合变化程度。 方差 σx2=1n−1∑i=1n(xi−xˉ)2 \sigma_{x}^{2}=\frac{1}{n-1} \sum_{i=1}^{n}\left(x_{i}-\bar{x}\right)^{2} σx2​=n−11​i=1∑n​(xi​−xˉ)2 nnn 表示样本数量，xˉ\bar{x}xˉ 表示观测样本的均值。 协方差 σ(x,y)=1n−1∑i=1n(xi−xˉ)(yi−yˉ) \sigma
线性判别分析（LDA）与主成分分析（PCA）：原理、实现与应用
最新发布
weixin_37410657的博客
05-04 1539
线性判别分析（LDA）与主成分分析（PCA）是两种重要的降维技术，它们在机器学习、数据分析和模式识别中都有着广泛的应用。LDA通过最大化类间距离和最小化类内距离实现对数据的分类，而PCA通过寻找数据的主成分实现降维，保留原始数据的大部分信息。本文详细介绍了LDA和PCA的原理、数学公式，并通过Python代码和LaTeX公式进行了详细解释。希望本文能够帮助读者更好地理解这两种降维方法的原理和实践步骤，并能够在实际项目中灵活运用这些方法。线性判别分析 - 维基百科主成分分析 - 维基百科。
PCA与LDA
qq_34555202的博客
08-21 473
注：这里说的LDA实际上讲的是Fisher linear discriminant analysis 在machine learning领域，PCA和LDA都可以看成是数据降维的一种方式。但是PCA是unsupervised，也就是说不需要知道sample对应的label，而LDA是supervised，需要知道每一个数据点对应的label。下面分别解释PCA和LDA的基本原理 1.PCA ...
主成分分析（PCA）与线性判别分析（LDA）的区别与联系
梁小憨憨的博客
08-04 7028
刚整理完PCA的内容，又记得之前用过LDA但是并没有在这里整理，所以今天把这两个算法整理下，方便以后查阅。
Python实现LDA：线性判别分析的MATLAB风格
"这篇资源介绍了如何使用Python实现线性判别分析（LDA），并对比了LDA与主成分分析（PCA）的区别。LDA是一种经典的模式识别算法，旨在通过投影高维样本到最佳鉴别矢量空间来提高分类效果，同时保持最大类间距离和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

贾世林jiashilin

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值