机器学习——LDA

最新推荐文章于 2023-12-01 17:12:10 发布
最新推荐文章于 2023-12-01 17:12:10 发布
阅读量1.2k 收藏 5
点赞数
分类专栏： 机器学习 文章标签： 机器学习 降维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yaochen2507/article/details/93306540
版权
本文详细介绍了LDA（线性判别分析）的步骤，包括计算类内散度矩阵、类间散度矩阵，以及如何通过求解特征值和特征向量来构建投影矩阵W，实现数据的降维。主要目标是最大化类别间的中心距离并最小化同类样本的协方差。
摘要由CSDN通过智能技术生成

步骤：

1 计算类内散度矩阵S_w

2 计算类间散度矩阵S_b

3 计算矩阵S_w^{-1}S_b

4 计算矩阵S_w^{-1}S_b的最大值的d个特征值

5 计算d个特征值对应的d个特征向量，计算投影矩阵为W

6 输出新样本集\bar{D}={(p1,y1),(p2,y2)...(pm,ym)}

具体推导：

定义：

N_j(j=0,1) j 类样本个数     

最低0.47元/天 解锁文章
yaochen2507
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
类内与类间散度矩阵
wansui60的博客
05-31 3716
def cacuSW(train_face,k): #train_face：行为样本，所有训练图像组成的矩阵，每个类别有k个图像为训练 sw=np.zeros([train_face.shape[1],train_face.shape[1]]) meanlei=np.zeros([40,10304])#计算40个类中，每个类的平均 meanlei=[] for i in range(0,train_face.shape[0],k): train0=train_
LDA
macb007的博客
07-06 1117
#-*- coding:utf8 -*- from nltk.tokenize import RegexpTokenizer from stop_words import get_stop_words from nltk.stem.porter import PorterStemmer from gensim.models.ldamodel import LdaModel from gensim ...
详解线性判别分析(LDA)
yellowetao的博客
10-04 3221
本文着重于思想的理解与公式的推导~ Linear Discriminant Analysis（LDA）是一种经典的线性学习方法，亦称“Fisher判别分析法” 注意：本文中的 基本思想： 找到一条直线（低维空间），使得将平面（高维空间）中的样本点投影到直线（低维空间）中，尽量使得同类样本点接近，异类样本点远离，判断新样本：当将新样本投影后，根据其投影后的位置判断其类别。 投影： 什么叫样本点投影到直线上：将点（原点指向样本点的向量）投影...
计算类内散度矩阵和类间散度矩阵实例
m0_62879974的博客
10-10 1万+
计算类内散度矩阵和类间散度矩阵实例
LDA中的三个散度矩阵
cj_to_niu
05-07 2516
转载出处：https://blog.csdn.net/Oxalis_Triangularis/article/details/47420521LDA中的三个散度矩阵在学习LDA（Linear Discriminate Analysis）的时候接触到了散度矩阵的概念，并且很多文章提到到混合散度矩阵等于类间散度矩阵与类内散度矩阵之和。我自己证明了一下。总体散度矩阵（total scatter matr...
scut机器学习作业pca lda 横竖分割
07-14
【标题】"scut机器学习作业pca lda 横竖分割"涉及到的是机器学习领域中的两种重要降维方法——主成分分析（PCA）和线性判别分析（LDA），以及数据预处理中的横竖分割策略。这些知识点在数据分析和机器学习模型构建中...
中华优秀传统文化创新发展的政策文本分析——基于机器学习LDA主题模型的分析.pdf
09-24
本文对中华优秀传统文化创新发展的政策文本分析，以机器学习LDA主题模型为基础，探讨了中华优秀传统文化创新发展的维度和框架。通过大数据研究方法和LDA主题模型，构建起关于当下传统文化创新维度的识别框架，整理出...
机器学习实验一实验报告（Python）
04-15
机器学习与线性判别分析(LDA) #### 1.1 机器学习简介 机器学习是人工智能的一个分支，它使计算机能够在没有明确编程的情况下从数据中学习并改进任务性能。通过构建数学模型，机器学习算法能够处理大量数据，自动...
机器学习笔记word格式
01-10
逻辑回归是一种广泛使用的统计和机器学习模型，主要应用于分类问题，尤其是二分类问题。它的核心在于构建一个连续的实值预测值，并通过一个非线性的“逻辑”函数将其转换为概率值，从而判断属于某一类的概率。 1. *...
机器学习基础——降维
03-03
### 机器学习基础——降维 #### 一、降维概念与重要性 降维是机器学习中的一个重要概念，指的是减少数据集中的特征数量，同时尽可能保留数据的主要信息。通过降维可以有效解决数据维度灾难问题，即随着数据特征...
线性分类器之Fisher线性判别
热门推荐
Rainbow0210的博客
10-22 2万+
在前文《贝叶斯决策理论》中已经提到，很多情况下，准确地估计概率密度模型并非易事，在特征空间维数较高和样本数量较少的情况下尤为如此。 实际上，模式识别的目的是在特征空间中设法找到两类（或多类）的分类面，估计概率密度函数并不是我们的目的。 前文已经提到，正态分布情况下，贝叶斯决策的最优分类面是线性的或者是二次函数形式的，本文则着重讨论线性情况下的一类判别准则——Fisher判别准则。为了避免陷入复杂
线性判别分析—Fisher判别（LDA）
m0_57957153的博客
09-09 1626
LDA线性判别分析实例（选用乳腺癌数据集）
机器学习：Linear Discriminant Analysis（过程详解+实例代码MATLAB实现
ニャンコちゃん的博客
10-28 7644
目录LDA概念线性判别分析（LDA）-二分类举个例子线性判别分析-多分类Experiment 3: Linear Discriminant AnalysisLDA二分类讲解LDA二分类代码LDA多分类讲解LDA多分类代码 LDA概念 线性判别分析（Linear Discriminant Analysis）是一种有监督学习的降维方法，用于找到分隔两个或多个对象类的特征的线性组合。 也就是给定有标签的数据集，利用LDA实现一个较好的分类。谈及分类，那么就说一说特征提取： 特征提取（维数约简/特征约简）是指将原始
线性判别分析LDA计算例题详解
Infinity_and_beyond的博客
05-05 2427
线性判别分析的核心思想是：将给定训练集投影到特征空间的一个超平面上，并设法使同类样本投影点尽可能接近，异类样本投影点尽可能远离由于做题时针对的是解题过程，因此原理相关方面省略，具体可参考👉。
python计算矩阵的散度_计算类内类间散度矩阵（附代码）
weixin_39709674的博客
12-19 2688
classcompute_scatter_matrix(object):def__init__(self,X,labels):self.X=Xself.labels=labelsdefcompute_scatter(self):meanAll=np.mean(self.X,axis=0)St=np.dot((self.X-meanAll).T,(self.X-meanAll)...
线性判别分析（LDA）
chjjunking的专栏
11-03 1406
<br /> <br />线性判别分析(LDA) 是指在输入变量上构造线性判别函数的方法。即寻找一种变换,使得在某种意义下类间分离性最大,类内相异性最小。相对于PCA来讲，他是一种有监督的维数约简方法。<br /> <br /> <br />1.在d维的特征空间中：<br />（1）各类样本均值向量mi<br />mi=1/Ni∑x∈Xix i=1,2<br />（2）样本类内离散度矩阵Si和总类内离散度矩阵Sw.<br />Si=∑x∈Xi(x-mi)(x-mi)T i=1,2<br />Sw=S1+S2
2020-12-11
weixin_43559088的博客
12-11 269
LDA（线性判别分析）降维最多只能降到’类别数-1’维 因为在LDA算法中需要计算类间散度矩阵Sb和类内散度矩阵Sw。 原数据降维到W，有n行d列，矩阵W的列是Sw−1SbSw^{-1}SbSw−1Sb的特征向量，因为Sb的秩最大为k-1，最多有k-1个特征向量，所以W最多有k-1列 ...
线性判别分析（LDA）原理详解及实现
最新发布
h52013141的博客
12-01 3064
线性判别分析（Linear Discriminant Analysis，LDA）是一种用于分类和降维的方法。其目标是寻找一个线性组合，使得不同类别的数据在新的维度上具有最大的可分性。计算类内散度矩阵和类间散度矩阵：计算矩阵 SW−1SBS_W^{-1}S_BSW−1​SB​ 的特征值和特征向量：选择特征值最大的特征向量：将数据投影到新的坐标轴上：SW=∑i=1c∑x∈Di(x−mi)(x−mi)T S_W = \sum_{i=1}^{c} \sum_{\mathbf{x} \in D_i} (\math
python实现类内类间散度矩阵，并计算其商
weixin_44620044的博客
03-31 5108
python实现类内类间散度矩阵，并计算其商J 1 类内类间散度矩阵的数学定义 参考博客：https://blog.csdn.net/weixin_38313518/article/details/76623744 2 类内距离的理解 参考博客：https://blog.csdn.net/ycheng_sjtu/article/details/25343043 matlab代码理解：https...
Spark支持的机器学习：LDA与深度学习应用详解
在本次讨论中，我们将深入探讨基于Apache Spark的机器学习技术，特别是关注主题模型（Topic modeling）中的Latent Dirichlet Allocation (LDA) 和深度学习的代表——卷积神经网络（Convolutional Neural Networks, ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值