28.python机器学习-LDA和PCA

最新推荐文章于 2023-05-04 12:02:46 发布
最新推荐文章于 2023-05-04 12:02:46 发布
阅读量436 收藏 1
点赞数 1
分类专栏： python机器学习 文章标签： LDA PCA python 机器学习 算法
@大勇若怯任卷舒
本文链接：https://blog.csdn.net/m0_47454596/article/details/114089480
版权

28.1 线性判别分析（LDA）

  • Linear Discriminant Analysis
    • 用途：数据预处理中的降维，分类任务
    • 历史：Ronald A. Fisher在1936年提出了线性判别方法
    • 目标：LDA关心的是能够最大化类间区分度的坐标轴成分。将特征空间（数据集中的多维样本）投影到一个维度更小的 k 维子空间中， 同时保持区分类别的信息
    • 原理：投影到维度更低的空间中，使得投影后的点，会形成按类别区分，一簇一簇的情况，相同类别的点，将会在投影后的空间中更接近方法
      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LUn9i6yH-1614241178174)(https://upload-images.jianshu.io/upload_images/19745945-01fb78f3eaef8a00.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]
    • 监督性：LDA是“有监督”的，它计算的是另一类特定的方向
    • 投影：找到更合适分类的空间
    • 与PCA不同，更关心分类而不是方差
  • 数学原理
  • Linear Discriminant Analysis

    • LDA分类的一个目标是使得不同类别之间的距离越远越好， 同一类别之中的距离越近越好

    • 每类样例的均值：

    • 投影后的均值：

    • 投影后的两类样本中心点尽量分离：

    • 只最大化J(w)就可以了？

    • X1的方向可以最大化J(w)，但是却分的不好

    • 散列值：样本点的密集程度，值越大，越分散，反之，越集中

    • 同类之间应该越密集些：

    • 目标函数：

    • 散列值公式展开：

    • 散列矩阵（scatter matrices）：
      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HeKDCzaQ-1614241178213)(https://upload-images

最低0.47元/天 解锁文章
大勇任卷舒
关注
专栏目录
模式识别与机器学习（Python实现）：基于PCA--LDA的人脸识别
安静到无声
04-10 1998
欢迎大家来到安静到无声的《模式识别与人工智能（程序与算法）》，如果对所写内容感兴趣请看模式识别与人工智能（程序与算法）系列讲解 - 总目录，同时这也可以作为大家学习的参考。欢迎订阅，优惠价只需9.9元，请多多支持！
python使用pca与lda数据降维
Takina的博客
07-20 672
数据降维
LDA与PCA数据降维算法理论与实现（基于python）
qq_37135484的博客
08-19 2799
线性判别分析（LDA） linear Discriminant Analysis 用途： 数据预处理中的降维，分类任务 目标： LDA关心的是能够最大化类间区分度的坐标轴成分 将特征空间（数据集中的多位样本）投影到一个维度更加小的Kw维子空间中，同时保持区分类别的信息 原理 投影到维度更低的空间，使得投影后的点，会形成按照类别区分，一簇一簇的情况，相同类别的点，将会在投影后的空间中更接近方法 监...
机器学习—PCA和LDA
cy925777075的博客
08-16 416
本篇文章介绍一下机器学习中最为常见的数据降维技术PCA和LDA，随着深度学神经网络的发展PCA和LDA的应用几乎越来越少了，尤其是LDA，但是这两种降维的思想还是值得我们学习的。 PCA 主成分分析（PCA）是一种无监督学习的降维方法，其主要思想非常非常简单，即寻找一组正交基对原始数据进行线性变换，使变换后的数据在某一个正交基方向上方差最大，从而尽最大可能地将原始数据投影到该方向上，如下图。 那么，我们如何找到这组正交基呢？ 别急，在寻找正交基之前，我们还需要对数据进行中心化预处理，将所有数据搬移到坐标原
【LDA学习系列】LDA-Python库
医疗影像检索
05-22 2822
LDA-python库：https://github.com/lda-project/ldaAPI参考：https://pythonhosted.org/lda/api.html构建好doc-word矩阵，就可以直接调用接口，参考如下：#LDA def matrix_topic(self,R,K=2): model = lda.LDA(n_topics=K, n_iter...
python pca 分类变量_28.python机器学习-LDA和PCA
weixin_42279320的博客
03-01 328
28.1 线性判别分析(LDA)Linear Discriminant Analysis用途：数据预处理中的降维，分类任务历史：Ronald A. Fisher在1936年提出了线性判别方法目标：LDA关心的是能够最大化类间区分度的坐标轴成分。将特征空间(数据集中的多维样本)投影到一个维度更小的 k 维子空间中， 同时保持区分类别的信息原理：投影到维度更低的空间中，使得投影后的点，会形成按类别区分...
LDA.zip_lda_机器学习 LDA判别_线性判别分析_西瓜python_西瓜数据集
09-21
在机器学习领域，LDA通过寻找最优的线性组合，使得类间距离最大化，类内距离最小化，从而提高不同类别之间的可区分性。在这个案例中，我们将探讨如何利用Python来实现LDA，并且使用了西瓜数据集作为示例。 西瓜数据...
python实现LDA PCA人脸识别代码
03-20
适合入门的新人，具体代码解读可看博文
PCA+LDA人脸识别
04-22
PCA+LDA降维，KNN分类器，实现人脸识别，数据集为ORL
pca+lda
learnee的专栏
11-11 1325
最近看了一篇文章：warpLda，先记下来，看了再更新这篇文章。
R和Python主成分分析(PCA)线性判别分析(LDA)及其K-最近邻分类器和病理预测
跨学科知识视角展现
06-02 466
在此，我们将使用此机器学习存储库中的数据集作为我们的数据。如下，加载： 上面的代码将简单地加载数据并命名所有 32 个变量。 ID、诊断和十个不同 (30) 特征。现在我们已经加载了我们的数据并发现自己有 30 个变量（不包括我们的响应“诊断”和不相关的 ID 变量)。当我们尝试使用 PCA 的线性组合来描述数据中的差异时，我们发现“良性”和“恶性”病理之间存在一些非常明显的聚类和分离！ 这为基于我们的特征开发分类模型提供了一个很好的案例！PCA 的另一个主要“功能”，是它实际上可以直接提高模型的性能。PC
lda原理及python代码
wtt561111的专栏
09-25 2569
lda可以从大量文档中生成主题，这里提供了python原理，代码和参考手册
线性判别分析（LDA）与主成分分析（PCA）：原理、实现与应用
最新发布
weixin_37410657的博客
05-04 1513
线性判别分析（LDA）与主成分分析（PCA）是两种重要的降维技术，它们在机器学习、数据分析和模式识别中都有着广泛的应用。LDA通过最大化类间距离和最小化类内距离实现对数据的分类，而PCA通过寻找数据的主成分实现降维，保留原始数据的大部分信息。本文详细介绍了LDA和PCA的原理、数学公式，并通过Python代码和LaTeX公式进行了详细解释。希望本文能够帮助读者更好地理解这两种降维方法的原理和实践步骤，并能够在实际项目中灵活运用这些方法。线性判别分析 - 维基百科主成分分析 - 维基百科。
【机器学习】PCA、LDA、SVD
littlemichelle
03-03 3096
线性变换 如果我们将向量 v 左乘矩阵 A，我们就会得到新的向量 b，也即可以表述说矩阵 A 对输入向量 v 执行了一次线性变换，且线性变换结果为 b。因此矩阵运算 Av = b 就代表向量 v 通过一个变换（矩阵 A）得到向量 b。下面的实例展示了矩阵乘法（该类型的乘法称之为点积）是怎样进行的： 如果假设矩阵就是一阵风，它通过有形的力量得出可见的结果。而这一阵风所吹向的方向就是特征向...
Python: sklearn库中数据预处理函数fit_transform()和transform()的区别
热门推荐
小太阳~
05-19 10万+
敲《Python机器学习及实践》上的code的时候，对于数据预处理中涉及到的fit_transform()函数和transform()函数之间的区别很模糊，查阅了很多资料，这里整理一下：涉及到这两个函数的代码如下：# 从sklearn.preprocessing导入StandardScaler from sklearn.preprocessing import StandardScaler # 标...
scikit-learn数据预处理fit_transform()与transform()的区别
cape的博客
01-17 3023
二者的功能都是对数据进行某种统一处理（比如标准化~N(0,1)，将数据缩放(映射)到某个固定区间，归一化，正则化等）fit_transform(partData)对部分数据先拟合fit，找到该part的整体指标，如均值、方差、最大值最小值等等（根据具体转换的目的），然后对该partData进行转换transform，从而实现数据的标准化、归一化等等。。根据对之前部分fit的整体指标，对剩余的数据（r
python 降维lda算法的使用_【Python】降维算法PCA和LDA的实现及总结
weixin_39743423的博客
12-09 992
以Iris数据集为例，分别实现PCA和LDA降维算法原理主成分分析(Principal Component Analysis，PCA)是一种常用的线性降维数据分析方法，其实质是在能尽可能好的代表原特征的情况下，将原特征进行线性变换、映射至低纬度空间中。算法实现首先将数据做中心化处理12meanVal = np.mean(X, axis=0)W = X - meanVal这里说一下，中心化就是使得样...
机器学习入门：LDA与PCA降维算法详解及Python实现
本文主要介绍了机器学习中的两种降维算法——LDA（线性判别分析）和PCA（主成分分析），并强调了降维在实际数据处理中的重要性，如提高计算效率和保留关键特征。文章详细阐述了LDA算法的用途、目标和原理，特别强调...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值