机器学习之降维算法（PCA和LDA）

已于 2023-10-01 09:29:04 修改
阅读量593 收藏
点赞数
分类专栏： 机器学习 文章标签： pca降维 LDA 降维
于 2020-05-08 19:34:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/L_15156024189/article/details/105976373
版权
本文介绍了降维在高维数据处理中的重要性，通过一个简单的例子展示了降维的过程。接着，详细讲解了主成分分析（PCA）的原理，包括一维和二维情况，以及PCA的算法步骤。PCA通过寻找数据最大方差的方向进行降维。此外，文章还对比了PCA与线性判别分析（LDA）的区别，指出LDA不仅降维，还能保持分类能力，适合有监督学习场景。LDA通过最大化类别间距离和最小化类别内样本间距离进行降维。
摘要由CSDN通过智能技术生成

目录

降维的例子

主成分分析（Principal Components Analysis，PCA）

线性判别分析（Linear Discriminant Analysis，LDA）

降维的例子

        很多时候给定的数据向量维数都很高，典型的一个例子就是自然语言处理中词的One-hot编码，编码后的向量维数和词典的大小相同，但是词典通常有十几万甚至更多的词，也就是一个词表示为一个十几万维的向量。这给计算带来了极大的困难。所以有必要对高维向量进行降维，但是需要保证降维后的向量不能丢失太多的信息，否则降维毫无意义。word embedding方法可以看成词向量的一种降维方法，这里不叙述。我们以一个简单的例子开始。以二维平面x_1Ox_2为例，也就是考虑二维向量，横轴是x_1，纵轴是x_2。从平面直线x_2=x_1上随机选择一些点

了解本专栏 订阅专栏 解锁全文 超级会员免费看
L（刘二宝）
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
机器学习：线性判别式分析(LDA)
AI333888的博客
08-29 851
线性判别式分析（Linear Discriminant Analysis），简称为LDA。也称为Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别的经典算法，在1996年由Belhumeur引入模式识别和人工智能领域。基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。LDA与PCA都是常用的降维技术。
机器学习中的降维方法（PCA和LDA）
pwtd_huran的博客
05-10 730
 降维如果拿特征选择后的数据直接进行模型的训练，由于数据的特征矩阵维度大，可能会存在数据难以理解、计算量增大、训练时间过长等问题，因此我们要对数据进行降维。降维是指把原始高维空间的特征投影到低维度的空间，进行特征的重组，以减少数据的维度。降维与特征最大的不同在于，特征选择是进行特征的剔除、删减，而降维是做特征的重组构成新的特征，原始特征全部“消失”了，性质发生了根本的变化。常见的降维方法有：主成分...
基于PCA与LDA的数据降维实践
九灵猴君的博客
04-12 2163
数据降维（Dimension Reduction）是降低数据冗余、消除噪音数据的干扰、提取有效特征、提升模型的效率和准确性的有效途径， PCA（主成分分析）和LDA（线性判别分析）是机器学习和数据分析中两种常用的经典降维算法。本任务通过两个降维案例熟悉PCA和LDA降维的原理、区别及调用方法。
机器学习-LDA与PCA算法
千尺浪的博客
11-26 598
Linear Discriminant Analysis 用途：数据预处理中的降维，分类任务 历史：Ronald A. Fisher在1936年提出了线性判别方法 线性判别分析（LDA） 目标：LDA关心的是能够最大化类间区分度的坐标轴成分 将特征空间（数据集中的多维样本）投影到一个维度更小的 k 维子空间中， 同时保持区分类别的信息   Linear Discriminant A
机器学习（七）：线性判别分析（LDA)
全栈川川
08-03 6551
机器学习中的线性判别(LDA)的原理以及实现案例
机器学习之降维—PCA-LDA.ppt
最新发布
09-21
机器学习之降维—PCA-LDA.ppt
四大机器学习降维算法：PCA、LDA、LLE、LaplacianEigenmaps.pdf
10-05
四大机器学习降维算法：PCA、LDA、LLE、LaplacianEigenmaps 机器学习领域中的降维算法是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数f : x->y，其中x是原始数...
四大机器学习降维算法：PCA、LDA、LLE、LaplacianEigenmaps.doc
10-07
本文将对四大机器学习降维算法进行详细的介绍，包括PCA、LDA、LLE和Laplacian Eigenmaps。 1. 主成分分析算法（PCA） PCA是最常用的线性降维方法，其目标是通过某种线性投影，将高维的数据映射到低维的空间中表示...
机器学习：LDA
LandscapeMi
07-26 328
待继
线性判别准则与线性分类编程实践【人工智能】
wanerXR的博客
11-04 529
目录一、LDA原理1.LDA的基本思想2.瑞利商和广义瑞利商3.二分类LDA原理4.多分类LDA原理5.LDA算法流程6.小结二、线性分类算法三、算法代码实现1.python编程实现2.对月亮数据集进行SVM分类四、参考文献 一、LDA原理 1.LDA的基本思想 LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的。这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。LDA的思想可以用一句话概括，就是“投影后类内方差最小，类间方差最大”。什么意思呢？ 我们要将数据在低维度上进
机器学习——LDA（线性判别分析）与人脸识别
热门推荐
转载请标明出处，完整项目/代码详见github：https://github.com/yiru1225
04-10 1万+
本篇博客主要介绍LDA(线性判别分析)算法并将LDA及其各种等价模型用于人脸的识别、图像降维可视化，并将LDA与PCA进行比较（内附数据集与matlab代码）
[机器学习] LDA理论
kuang_liu的专栏
10-27 1647
1. LDA 与 PCA 线性判别分析（Linear Discriminant Analysis, LDA）和 主成分析法（PCA）都可以用于数据分类和降低维度。但 LDA 尽可能的保留不同类数据的差别。LDA 使不同类的数据它们的差别尽可能的大，而使同一类的数据它们的差别尽可能的小。即让类型间的差别与同一类型内的差别的比值尽可能的大。LDA 比 PCA 更好的体现出数据的分布
机器学习之LDA算法
笔记
06-25 3613
线性判别分析（linear discriminant analysis，LDA），是一种经典的线性学习方法，其原理是：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异类样例的投影点尽可能远离；在对新样本进行分类时，将其投影到同样的直线上，再根据投影点的位置来确定新样本的类别。LDA作为一种经典的机器学习算法，具有较好的降维效果和分类能力，同时对噪声具有一定的抗干扰能力。然而，LDA也有其局限性，适用于满足其假设条件的线性可分问题。
机器学习算法（一）——LDA（线性判别分析）
qq_45005996的博客
03-25 177
机器学习算法（一）——LDA（线性判别分析） Fisher’s linear discriminant analysis 1 算例说明： 姓名 智商 情商 人才 小张 150 130 是 小许 80 80 否 小王 70 85 是 … … … … 图1 人员信息收集表 问题描述： 公司现大量测试了公司人员的智商值、情商值，以及对其是否为公司人才的一个客观综合判断。 现欲根据智商值、情商值指标，判断之后公司应聘者为人才的可能性，增加招聘效率。 问：如何根据智商值和情商值判断人才
机器学习算法（四）：线性判别分析（LDA）
weixin_39910711的博客
09-01 9250
目录 1LDA概念 2 二分类求解w 2.1 解一 2.2解二 3多类LDA原理 4LDA算法流程 5LDA算法小结 1LDA概念 线性分类器最简单的就是LDA，它可以看做是简化版的SVM。 LDA的全称是Linear Discriminant Analysis（线性判别分析），是一种supervised learning监督学习。 LDA的原理是，将带上...
[七]机器学习之LDA
柚子君的小窝
10-17 775
7.1 目标i任务 1.熟悉LDA在自然语言处理中的应用 2.掌握python-lda库 3.测试LDA模型训练中，不同参数的设置对结果产生的影响 7.2 实验环境 1.python2.7、Numpy、Sklearn 2.Python-jieba：结巴分词，用于对语料文件进行分词处理 3.python-lda：基于Gibbs抽样的LDA模型的python实现。下载地址：http://...
【机器学习之LDA(线性判别分析)PCA(主成分分析)和SVD(奇异值分解）】
m0_62571112的博客
05-04 2469
简单讲述LDA PCA SVD
机器学习之LDA线性判别分析模型
muli
11-21 622
机器学习之LDA线性判别分析模型 # -*- coding: utf-8 -*- """ Created on Wed Nov 21 21:03:14 2018 @author: muli """ import matplotlib.pyplot as plt import numpy as np from sklearn import datasets, discriminant_ana...
用PCA还是LDA？特征抽取经典算法大PK
06-26 658
在之前的格物汇文章中，我们介绍了特征抽取的经典算法——主成分分析（PCA），了解了PCA算法实质上是进行了一次坐标轴旋转，尽可能让数据映射在新坐标轴方向上的方差尽可能大，并且让原数据与新映射的数据在距离的变化上尽可能小。方差较大的方向代表数据含有的信息量较大，建议保留。方差较小的方向代表数据含有的信息量较少，建议舍弃。今天我们就来看一下PCA的具体应用案例和特征映射的另一种方法：线性判别分析（LD...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

L（刘二宝）

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值