机器学习 | 线性判别分析LDA和主成分分析PCA

最新推荐文章于 2024-07-12 19:58:54 发布
最新推荐文章于 2024-07-12 19:58:54 发布
阅读量1.5k 收藏 15
点赞数 4
分类专栏： 机器学习 Python 机器学习 文章标签： PCA LDA 降维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27782503/article/details/90147285
版权
Python 同时被 3 个专栏收录
86 篇文章 6 订阅
订阅专栏
机器学习
52 篇文章 6 订阅
订阅专栏
机器学习
15 篇文章 0 订阅
订阅专栏

LDA和PCA介绍

1 背景

聊到LDA，大部分可能都会想到是线性判别分析，甚至在面试的时候，我简历上明明写的是LDA主题模型，但面试官其实不太懂，直接就问了线性判别分析。。。所以今天我们就来聊一聊线性判别分析LDA以及和其很相近的PCA！

2 线性判别分析LDA

2.1 含义

  • LDA的全称是Linear Discriminant Analysis（线性判别分析），是一种supervised learning。 - LDA的原理：将带上标签的数据（点），通过投影的方法，投影到维度更低的空间中，使得投影后的点，会形成按类别区分，一簇一簇的情况，相同类别的点，将会在投影后的空间中更接近。
  • 投影后类内方差最小，类间方差最大。 要将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。

2.2 图解

  • LDA是将一个高维的点投影到一条直线上
  • LDA追求的目标：给出一个标注了类别的数据集，投影到了一条直线之后，能够使得点尽量的按类别区分开
  • 注：我们的原始数据一般也是超过二维的，投影后的也一般不是直线，而是一个低维的超平面。

当k=2即二分类问题的时候，如下图所示：
加粗样式

2.3 数学原理

  • 找到损失函数！即投影后的点之间的不同类距离尽可能远，同一类之间尽可能接近！即投影后类内方差最小，类间方差最大！

那损失函数如何度量呢？直观来看，如果是分子=类间方差，分母=类内方差，则这个分数值越大越好！具体的数学表达式为：
在这里插入图片描述
于是我们的目标就变成了：求J最大时对应的W，也就是投影的权重！对应是直线的权重！

但直接求好像有点麻烦，我们进行相应的转换！
在这里插入图片描述
现在J变成了上面这样的形式，下面就可以用一个结论了！涉及到一个广义瑞利商的概念和相关结论：
在这里插入图片描述
一旦通过上述方式求出了w，也就知道了我们的最佳投影方向了！从而将数据进行了降维！

2.4 LDA降维流程

在这里插入图片描述

2.5 LDA用于分类

那除了做降维，LDA还可以干吗吗？还可以用于分类。分类原理为：

一个常见的LDA分类基本思想是：假设各个类别的样本数据符合高斯分布，这样利用LDA进行投影后，可以利用极大似然估计计算各个类别投影数据的均值和方差，进而得到该类别高斯分布的概率密度函数。当一个新的样本到来后，我们可以将它投影，然后将投影后的样本特征分别带入各个类别的高斯分布概率密度函数，计算它属于这个类别的概率，最大的概率对应的类别即为预测类别。

2.6 代码实现

详情见刘建平老师博客：https://www.cnblogs.com/pinard/p/6249328.html

直接调用Python中sklearn对应的接口即可！

3 主成分分析PCA

3.1 含义

PCA全名是Principle Component Analysis，即主成分分析。是一种重要的降维方法。希望将数据从n维降到m维，而让这m维数据尽可能代表原始数据集，同时希望损失尽可能的小。

3.2 图解

下面是一堆二维数据集，希望能降成一维，请问是按照u1的方向还是u2的方向进行投影降维呢？直观上会觉得u1更好！原因是啥呢？
在这里插入图片描述

  • 理由1：在u1方向上投影更加的分散，数据的方差更大。即样本点在这个直线上的投影能尽可能的分开。
  • 理由2：在u1方向投影后原始数据离这个轴的距离之和更近一些！即样本点到这个直线的距离足够近。

3.3 数学推导

3.3.1 基于最小投影距离推导

这部分参考刘建平老师的博客，看着很多数学式子，但静下心来看，发现是不难的。
在这里插入图片描述
在这里插入图片描述

3.3.2 基于最大投影方差推导

在这里插入图片描述

3.3.3 总结

通过上面两种推导，我们就可以发现，核心是只要求出样本点的协方差矩阵对应的特征值和特征向量就ok了！算出前m个特征值（贡献率一般达到85%以上）以及其对应的特征向量，然后将特征向量乘以原始的数据x就可以实现降维了！

3.4 PCA的算法流程

大致有下面几步：

  1. 中心化处理
  2. 计算样本的协方差矩阵
  3. 求矩阵的特征值和特征向量
  4. 根据方差贡献率看选几个主成分
  5. 进行主成分的表达式对原始数据进行降维处理，形成了主成分，后续对主成分进行进一步分析！
    在这里插入图片描述

3.5 代码实现

具体见刘老师博客：https://www.cnblogs.com/pinard/p/6243025.html

3.6 实例

在这里插入图片描述

3.7 优缺点

优点：

  • 仅仅需要以方差衡量信息量，不受数据集以外的因素影响。
  • 各主成分之间正交，可消除原始数据成分间的相互影响的因素。
  • 计算方法简单，主要运算是特征值分解，易于实现。

缺点：

  • 主成分各个特征维度的含义具有一定的模糊性，不如原始样本特征的解释性强。
  • 方差小的非主成分也可能含有对样本差异的重要信息，因降维丢弃可能对后续数据处理有影响。

4 LDA和PCA有什么区别和联系？

1、联系：

  • 都是降维方法，即两者均可以对数据进行降维。
  • 两者在降维时均使用了矩阵特征分解的思想
  • 两者都假设数据符合高斯分布

2、区别：

  • PCA是无监督的，LDA是有监督的
  • LDA不适合对非高斯分布样本进行降维，PCA也有这个问题。
  • LDA降维最多降到类别数k-1的维数，如果我们降维的维度大于k-1，则不能使用LDA。当然目前有一些LDA的进化版算法可以绕过这个问题。
  • LDA在样本分类信息依赖方差而不是均值的时候，降维效果不好。
  • LDA可能过度拟合数据。
  • LDA是作为独立的算法存在，PCA更多的用于数据的预处理的工作。

参考

写代码的阿呆
关注
专栏目录
LFDA.zip_LFDA_lda_机器学习_线性判别分析_ＬＬＤＡ
09-23
局部线性判别分析（LLDA）是一种在机器学习领域广泛应用的降维技术，它是经典线性判别分析（LDA）的一种扩展。LDA的核心是寻找最优的低维投影，使得类间距离最大化，类内距离最小化，以此实现数据的有效分类和降维。...
特征选取方法PCA与LDA
weixin_30326741的博客
08-31 378
一、主成分分析（PCA）介绍 什么是主成分分析？   主成分分析是一种用于连续属性降维的方法，把多指标转化为少数几个综合指标。 它构造了原始属性的一个正交变换，将一组可能相关的变量转化为一组不相关的变量，只需要少量变量就可以解释原始数据大部分信息。   主成分分析其实就是一个线性变换，这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在...
使用PCA和LDA进行特征选择与提取
qq_48068259的博客
11-17 1072
使用PCA和LDA进行特征选择与提取
【机器学习】线性判别分析（LDA）：从理论到实践
鑫宝的博客
07-12 2326
线性判别分析（Linear Discriminant Analysis, LDA）是一种广泛应用于模式识别和机器学习领域的经典统计技术，主要用于特征提取和分类。与主成分分析（PCA）等降维方法不同，LDA侧重于最大化类间差异，同时最小化类内差异，使其在监督学习场景下尤为有效。本文将深入探讨LDA的理论基础、算法流程、以及在现实世界中的应用案例。
主成分分析（PCA）与线性判别分析（LDA）的区别与联系
梁小憨憨的博客
08-04 6851
刚整理完PCA的内容，又记得之前用过LDA但是并没有在这里整理，所以今天把这两个算法整理下，方便以后查阅。
主成分分析(PCA)/线性判别分析(LDA)总结
J~的博客
01-31 1829
1 PCA PCA（Principal Component Analysis） 是一种常见的数据分析方式，常用于高维数据的降维，可用于提取数据的主要特征分量。 关于PCA的原理强烈推荐这篇文章PCA的数学原理 2 LDA 之前我们讨论的 PCA降维，对样本数据来言，可以是没有类别标签 y 的。如果我们做回归时，如果特征太多，那么会产生不相关特征引入、过度拟合等问题。我们可以使...
线性判别分析（LDA） 主成分分析(PCA)
stormbjm的专栏
12-05 921
前言： 第二篇的文章中谈到，和部门老大一宁出去outing的时候，他给了我相当多的机器学习的建议，里面涉及到很多的算法的意义、学习方法等等。一宁上次给我提到，如果学习分类算法，最好从线性的入手，线性分类器最简单的就是LDA，它可以看做是简化版的SVM，如果想理解SVM这种分类器，那理解LDA就是很有必要的了。 谈到LDA，就不得不谈谈PCA，PCA是一个和LDA非常相关的算法，从推导、求解、到
LDA.rar_LDA PCA 压缩_lda_pca_lda_判别分析_线性判别
09-19
线性判别分析（LDA）与主成分分析（PCA）是两种常用的数据降维方法，在机器学习和统计分析中有着广泛的应用。本资源“LDA.rar”包含了一个MATLAB实现的LDA过程，该过程首先通过PCA进行数据压缩，然后进行特征提取，...
贝叶斯线性判别分析LDA_lda_贝叶斯判别分析LDA_线性判别分析_slabsmml_
10-01
贝叶斯线性判别分析...总之，贝叶斯线性判别分析LDA是数据分析和机器学习中的一个重要工具，尤其在处理分类和降维问题时。通过理解和应用LDA，我们可以更好地理解数据结构，进行有效的预测，并提高模型的性能。
LDA.zip_lda_机器学习 LDA判别_线性判别分析_西瓜python_西瓜数据集
09-21
线性判别分析（LDA，Linear Discriminant Analysis）是一种广泛应用的数据分析方法，常用于特征降维和分类问题。在机器学习领域，LDA通过寻找最优的线性组合，使得类间距离最大化，类内距离最小化，从而提高不同类别...
线性判别分析(LDA)原理详解及其应用
最新发布
09-24
内容概要：系统性解释了线性判别分析（LDA）的基本理论和实用细节，对比了LDA和PCA两种典型降维手段的区别，并从理论上分析了为何两者在不同类型数据集上的表现不同。具体讲解了二类和多类LDA算法以及相应的推导过程...
因子分析_主成分分析_独立成分分析_斯坦福CS229_学习笔记
12-06 1605
Part VIII 因子分析 主成分分析 独立成分分析 在上个部分介绍了EM算法，在此部分因子分析中，我们会再次应用到。 因子分析、主成分分析和独立成分分析都作为对于数据维度进行处理的手段，对于我们理解数据、更好的表示数据都起到或多或少的作用，因此将三者放在一起进行叙述。 目录 Part VIII 因子分析 主成分分析 独立成分分析 1 因子分析（Factor Analysis，FA...
【机器学习之LDA(线性判别分析)PCA(主成分分析)和SVD(奇异值分解）】
m0_62571112的博客
05-04 2489
简单讲述LDA PCA SVD
机器学习——降维算法PCA
Clichong
02-25 1098
文章目录1、导入数据2、展示数据特征3、数据标准化4、计算协方差矩阵5、求特征值与特征向量6、按照特征值大小进行排序7、计算累积结果8、完成PCA降维9、可视化对比降维前后数据的分布 以下是使用PCA算法处理实际问题的例子，同样使用鸢尾花数据集，目的依旧是完成降维任务 基本的流程如下： 1.数据预处理，只有数值数据才可以进行PCA降维 2.计算样本数据的协方差方阵 3.求解协方差矩阵的特征值和特征向量 4.将特征值按照从大到小的顺序排列，选择其中较大的K个，然后将其对应的K个特征向量组成投影
【Python机器学习】之 PCA 算法（二）
努力学习的大小宝
08-12 1063
PCA 算法 1、主成分分析 1.1、主成分分析介绍 ​ 主成分分析（PCA）是一种非常重要的无监督降维学习方法。其基本思想：找出原始数据最主要的方面来替代原始数据，使得在损失少部分原始信息的基础上极大地降低原始数据的维度。 ​ 这一方法利用正交变换把由线性相关变量表示的观测数据转换为由少数几个由线性无关变量表示的数据，线性无关的变量称为主成分。主成分的个数通常小于原始变量的个数，所以主成分分...
机器学习中常用评价指标（分类篇）
夏小悠的博客
06-06 1975
本篇博文主要介绍机器学习中常用的评价指标----分类篇，并在文章末尾给出了具体的示例。
机器学习实战：kaggle房价回归预测实战
记忆碎片的博客
03-27 3162
文章目录项目介绍房价回归Bagging方法预测房价回归使用XGboost预测 项目介绍 项目地址:https://www.kaggle.com/c/house-prices-advanced-regression-techniques 。 该项目数据集中包含79个特征，最后预测出房价特征。 我们进入上面的项目地址，点击Join competition。就可以参与项目竞赛。点击Data项，可以下载训...
Dimensionality Reduction（主成分分析PCA与线性判别分析LDA）
nakaizura
10-19 4744
PCA原理，实现，应用。多重境界的理解。通常情况下，在收集数据集时会有很多的特征，这代表着数据是高冗余的表示，但是对于某个工程来说其实可能并不需要那么多的特征。所以就需要给数据进行降维（Dimensionality Reduction）。降维可以简化数据，使数据集更易使用，降低时间开销，而且能减少一部分噪音的影响，使最后的效果变好。比如上图中，如果进行降维后再进行分类，将会易于处理.........
机器学习之LDA算法
笔记
06-25 3832
线性判别分析（linear discriminant analysis，LDA），是一种经典的线性学习方法，其原理是：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异类样例的投影点尽可能远离；在对新样本进行分类时，将其投影到同样的直线上，再根据投影点的位置来确定新样本的类别。LDA作为一种经典的机器学习算法，具有较好的降维效果和分类能力，同时对噪声具有一定的抗干扰能力。然而，LDA也有其局限性，适用于满足其假设条件的线性可分问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值